«Яндекс» создал хитрый протокол для «ускорения» интернета. Ему помогал Microsoft

Microsoft и «Яндекс» создали протокол IndexNow для самостоятельного оповещения веб-мастерами поисковых систем об изменениях на сайте. Это позволяет не ждать, пока сайт посетит робот-краулер, и моментально отразить все нововведения в поисковой выдаче. IndexNow работает исключительно в Bing и поиске «Яндекса», другие поисковые системы не поддерживаются.

«Ускоритель» интернета

Интернет-гигант «Яндекс» совместно с корпорацией Microsoft разработал новый протокол IndexNow для мгновенного информирования поисковых систем об изменениях на сайте. Информацию о нем редакция CNews обнаружила в «Яндекс.справке». Протокол позволяет вручную оповещать поисковики о создании новых страниц, удалении старых, добавлении или изменении контента и т. д. С помощью IndexNow можно напрямую уведомлять поисковики о любых об изменениях на сайте, не дожидаясь очередного обхода индексирующим роботом.

«IndexNow – это инициатива, направленная на повышение эффективности работы интернета. Сообщая поисковым системам, был ли изменен URL-адрес, владельцы веб-сайтов дают четкий сигнал, помогая поисковикам определять приоритеты сканирования для этих URL-адресов, тем самым ограничивая потребность в исследовательском сканировании для проверки того, был ли контент изменен. В будущем поисковые системы намерены ограничить сканирование веб-сайтов, использующих IndexNow», – говорится на сайте Microsoft.


IndexNow - это новейшее изобретение «Яндекса»

Суть IndexNow заключается именно в ускорении предоставления данных об изменениях сайтов поисковым системам. По данным «Яндекса», без него процесс обнаружения поисковиками изменений на сайте может занимать довольно много времени – от нескольких дней до нескольких недель.

Где работает новшество

Распространение IndexNow началось 18 октября 2021 г. на условиях лицензии Attribution-ShareAlike Creative Commons License. Однако доступен этот протокол далеко не всем поисковикам. Как сообщили CNews представители «Яндекса», протокол работает исключительно в Bing (принадлежит Microsoft) и в поисковой системе самого «Яндекса». Поначалу в компании сообщили, что IndexNow также поддерживается китайским Baidu, но позже добавили, что в этот сервис доступом к нему не располагает. При этом упоминание Baidu на странице «Яндекса» с описанием сервиса присутствует.


Вопрос о поддержке IndexNow поисковиком Baidu однозначного ответа пока не имеет

На запрос CNews о сроках запуска поддержки IndexNow другими поисковиками представители «Яндекса» на момент публикации материала ответить не смогли.

Отметим, что на сентябрь 2021 г. «Яндекс» был вторым по популярности поисковиком в мире с долей 41,69%. Его опережал только Google (56,07%, статистика StatCounter). Bing находился на четвертой строчке с крошечной долей 0,42%.

Также инициативу по внедрению IndexNow поддержала компания CloudFlare, предоставляющая услуги сети доставки содержимого (Content Delivery Network, CDN), защиту от DDoS-атак, безопасный доступ к ресурсам и серверы доменных имен (DNS). Поддержка нового протокола реализована в составе запущенного летом 2021 г. проекта Crawler Hints («подсказки для краулеров»). Это отдельный сервис, повышающий эффективность работы трафика, поступающего от веб-краулеров и ботов.

Как пользоваться протоколом

Протокол IndexNow запущен в версии 1.0. Перед началом его использования владелец сайта должен сгенерировать и разместить в каталоге сайта специальный ключ для верификации пользователя.

Поисковые системы будут проверять ключ при каждом использовании протокола IndexNow. Размещать его рекомендуется в корневом каталоге сайта. К тому же, если на сайте есть поддомены, то для каждого из них нужно создать отдельный ключ.


Пример ключа верификации

Выполнив это требование, владельцы веб-сайтов могут начать отправлять в Bing и «Яндекс» URL-адреса изменившихся или удаленных страниц. Для отправки одного адреса используется метод GET, а если требуется «оптовая» отправка, то нужно использовать метод POST.

Важно отметить, что отправлять через IndexNow нужно исключительно адреса тех страниц, которые получили изменения после запуска поддержки протокола. Если, к примеру, страница обновлялась месяц или год назад, уведомлять поисковики об этом не требуется.

По данным портала MSPowerUser, уведомив об изменениях на сайте одну поисковую систему, поддерживающую IndexNow, веб-мастер автоматически оповестит и другую. В «Яндексе» эту информацию не подтверждают, но и не опровергают.

Адрес новости:
https://internet.cnews.ru/news/top/2021-10-20_yandeks_sozdal_hitryj_protokol