Форум на Исходниках.RU https://forum.sources.ru Форум на Исходниках.RU Форум на Исходниках.RU https://forum.sources.ru/index.php?showtopic=398296&view=findpost&p=3572173 Mon, 09 Feb 2015 15:25:14 +0000 корректный роботс.тхт для самописного сайта https://forum.sources.ru/index.php?showtopic=398296&view=findpost&p=3572173 Цитата artur_ik @
вы в гугл вебмастер проверьте что робот видит.

посмотрел - http://take.ms/WLBGf

типа все супер?]]> FreeWayy SEO https://forum.sources.ru/index.php?showtopic=398296&view=findpost&p=3564345 Sat, 17 Jan 2015 21:03:21 +0000 корректный роботс.тхт для самописного сайта https://forum.sources.ru/index.php?showtopic=398296&view=findpost&p=3564345 artur_ik SEO https://forum.sources.ru/index.php?showtopic=398296&view=findpost&p=3562845 Wed, 14 Jan 2015 09:30:53 +0000 корректный роботс.тхт для самописного сайта https://forum.sources.ru/index.php?showtopic=398296&view=findpost&p=3562845 сайт афоризмов

Роботс делал по статье, а также методом тыка (смотрел в гуглвебмастере ошибки сканирования и путь писал в роботс)

вот мой роботс:


User-agent:*
User-agent: Yandex
Host: aforizmus.com
Allow: /Images/Data/
Disallow: /home/Rss
Disallow: /Record/GetAvtorsSide
Disallow: /Record/AphorismByAvtor
Disallow: /Record/AphorismByCat
Disallow: /Record/RecToEml
Disallow: /Record/RecToFav
Disallow: /Record/AddComment
Disallow: /Record/AddChildToComment
Disallow: /?page
Disallow: /404.htm

/Images/Data/ это папка картинок статей, аватарок, я бы хотел чтобы они индексировались, но в корневой папке Images масса других папок и картинок.... как то можно Images закрыть, но /Images/Data/ оставить открытым?


предполагаю, что с картинками так:


Disallow: /Images
Allow: /Images/Data

сначала на все запрещаем, затем разрешаем только нужную

буду благодарен за комментарии и подсказки, может я где то налажал... спасибо]]> FreeWayy SEO