Google игнорирует robots.txt?
 |
Наши проекты:
Журнал · Discuz!ML · Wiki · DRKB · Помощь проекту |
|
| ПРАВИЛА | FAQ | Помощь | Поиск | Участники | Календарь | Избранное | RSS |
| [18.227.46.229] |
|
|
Размещение рекламных топиков
Правила SEO :
- Если у Вас есть вопрос типа: "Кручу сайт год и никак, что делать", то необходимо указывать, что вы делали.
Правила Хостинг :
- Если у Вас есть хостинг и вы хотите заявить о нем в данном разделе, то необходимо соблюдать следующие правила:
Тема: Название.
Тело письма:
1) основные направления деятельности (услуги).
2) в какой стране\городе находятся сервера.
3) адрес хостинга в интернете (URL).
Темы с рекламой хостинга в другом формате будут удаляться без предупреждения.
- Если у Вас есть вопрос типа: "Кручу сайт год и никак, что делать", то необходимо указывать, что вы делали.
Правила Хостинг :
- Если у Вас есть хостинг и вы хотите заявить о нем в данном разделе, то необходимо соблюдать следующие правила:
Тема: Название.
Тело письма:
1) основные направления деятельности (услуги).
2) в какой стране\городе находятся сервера.
3) адрес хостинга в интернете (URL).
Темы с рекламой хостинга в другом формате будут удаляться без предупреждения.
Модераторы: kosten
Google игнорирует robots.txt?
|
Сообщ.
#1
,
|
|
  |
Всем привет. Вот скажите мне, какого фига Google игнорирует правила robots.txt? Он задолбал добавлять страницы в поиск, которые я принудительно закрыл.
Вот мой robots.txt- _http://www.danler.com.ua/robots.txt. Страницы в поиске которых не должно быть: ***/addtocart.php ***/cart/ и тд Ну какого?  |
|
Сообщ.
#2
,
|
|
|
|
Привет.
Попробуй указать именно для гугловского бота. Список роботов тут. Некоторые считают, что некоторые боты не считаются с запретами в robots.txt. Я так не считаю. |
|
Сообщ.
#3
,
|
|
|
|
Цитата RedCeleron @ Привет. Попробуй указать именно для гугловского бота. Список роботов тут. Некоторые считают, что некоторые боты не считаются с запретами в robots.txt. Я так не считаю. залочить пыхи я уже смог от ботов, но вот почему во второй выдачи такие страницы /cart/ появляются, хотя по сути они не проиндексированы, бот тупо берет часть текста ссылки и добавляет саму ссылку в тайтл. |
|
Сообщ.
#4
,
|
|
|
|
Поставь в документах <noindex>.
|
|
Сообщ.
#5
,
|
|
|
|
Цитата RedCeleron @ Поставь в документах <noindex>. причем тут ноуиндекс? ноуиндекс для Яшки и это не вариант |
|
Сообщ.
#6
,
|
|
|
|
TetRis, как на счёт гугл аналитикса? И заткнуть сайтмапу с роботсами можно и проанализировать посещаемость можно
 |
|
Сообщ.
#7
,
|
|
|
|
Цитата Serafim @ TetRis, как на счёт гугл аналитикса? И заткнуть сайтмапу с роботсами можно и проанализировать посещаемость можно в смысле? как заткнуть? |
|
Сообщ.
#8
,
|
|
|
|
в аналитиксе, если не путаю, есть анализ этих двух файлов с выявлением их ошибок
 |
|
Сообщ.
#9
,
|
|
|
|
Цитата Serafim @ в аналитиксе, если не путаю, есть анализ этих двух файлов с выявлением их ошибок ошибок нет, проверял неоднократно |
|
Сообщ.
#10
,
|
|
|
|
Ну если он его видит (robots.txt), то подожди, Гуглу нужно от недели до месяца, что бы обновить свой кэш. Возможно просто из-за того, что ты создал сайт, Гугль его спарсил, а потом ты добавил роботс. Поэтому некоторое время он будет использовать спарсенные данные, а потом соблаговолит обновить их
|
|
Сообщ.
#11
,
|
|
|
|
Цитата Serafim @ Ну если он его видит (robots.txt), то подожди, Гуглу нужно от недели до месяца, что бы обновить свой кэш. Возможно просто из-за того, что ты создал сайт, Гугль его спарсил, а потом ты добавил роботс. Поэтому некоторое время он будет использовать спарсенные данные, а потом соблаговолит обновить их я всегда изначально делаю роботс, мапу, а потом добавляю в индекс |
|
Сообщ.
#12
,
|
|
|
|
Гугл часто забивает на robots.txt, точно так же как на тег noindex.
|
|
Сообщ.
#13
,
|
|
|
|
Теперь всё нормально? Ненужных страниц я не нашел.
http://www.google.ru/search?q=site:danler.com.ua&hl=en&newwindow=1&prmd=ivns&filter=0#q=site:danler.com.ua&hl=en&newwindow=1&prmd=ivns&ei=v6FXTbm0L4ySOtm9lawF&start=0&sa=N&filter=0&fp=33a26d5e816247bc |
1 пользователей читают эту тему (1 гостей и 0 скрытых пользователей)
0 пользователей:
[ Script execution time: 0,0623 ] [ 14 queries used ] [ Generated: 26.05.24, 03:40 GMT ]