Ниже представлен список поисковых роботов Яндекс и их назначение в плане индексации или иных функций. Каждый робот выполняет свои специализированные задачи. Данная информация может оказаться полезной для тонкой настройки файла robots:
- Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots) — основной робот Яндекс, занимающийся поиском и индексацией информации;
- Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots) — индексатор картинок, которые в конечном итоге становятся доступными к поиску в сервисе Яндекс.Картинки на основании имени и alt-атрибута изображения;
- Mozilla/5.0 (compatible; YandexVideo/3.0; +http://yandex.com/bots) — индексатор видеофайлов, которые в конечном итоге становятся доступными к поиску в сервисе Яндекс.Видео на основании названия и title видео;
- Mozilla/5.0 (compatible; YandexFavicons/1.0; +http://yandex.com/bots) — робот, индексирующий пиктограммы сайтов для последующего вывода их в результатах поисковой выдачи слева от данного сайта;
- Mozilla/5.0 (compatible; YandexWebmaster/2.0; +http://yandex.com/bots) — робот Яндекс.Вебмастера;
- Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots) — робот Яндекс.Метрики;
- Mozilla/5.0 (compatible; YandexMarket/1.0; +http://yandex.com/bots) — робот Яндекс.Маркета;
- Mozilla/5.0 (compatible; YandexNews/3.0; +http://yandex.com/bots) — робот Яндекс.Новостей;
- Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots) — робот, индексирующий страницы сайтов, участвующих в Яндекс.Директ;
- Mozilla/5.0 (compatible; YandexBlogs/0.99; robot; +http://yandex.com/bots) — робот, индексирующий xml-файлы для поиска по блогам;
- Mozilla/5.0 (compatible; YandexPagechecker/1.0; +http://yandex.com/bots) — робот, проверяющий страницу при валидации микроразметки через форму Валидатор микроразметки;
- Mozilla/5.0 (compatible; YandexWebmaster/2.0; +http://yandex.com/bots) — также робот сервиса Я.Вебмастер.
Кроме того, имеется группа роботов, которые занимаются проверкой доступности ресурсов, так или иначе связанных с сервисами Яндекса:
- Mozilla/5.0 (compatible; YandexCatalog/3.0; +http://yandex.com/bots) — робот Яндекс.Каталога.
Если сайт недоступен в течение нескольких дней, он снимается с публикации и возвращается обратно в случае обнаружения доступности сайта;
- Mozilla/5.0 (compatible; YandexDirect/2.0; Dyatel; +http://yandex.com/bots) — робот Яндекс.Директ.
Он проверяет корректность ссылок из объявлений перед модерацией;
- Mozilla/5.0 (compatible; YandexNewslinks; +http://yandex.com/bots) — еще один робот Я.Новостей. Он формирует отчет для контент-менеджера, связывается с партнером.
Факт посещения сайта тем или иным роботом можно отследить через логи сервера.
Оцените статью: