Сегодня команда Яндекса сообщила о том, что роботы поисковика перестают учитывать пустую директиву Allow в robots.txt как сигнал, запрещающий индексацию.
Нередко индексирующий робот не может получить доступ к сайтам из-за того, что в robots.txt по ошибке установлен запрет на посещение всех страниц. Заметная часть таких ошибок — последствие применения пустой директивы Allow:
User-agent: *
Allow:
Если ранее индексирующий робот Яндекса расценивал это правило как полностью запрещающее, то теперь пустая директива Allow при обнаружении в robots.txt будет игнорироваться.
Директива запрета индексации в файле robots.txt может выглядеть так:
Disallow: *
Или так:
Disallow: /
Убедиться, что разрешено, а что запрещено в robots.txt желающие могут в соответствующем разделе Яндекс Вебмастера. Отдельное внимание специалисты поиска советуют обратить на пустые значения для Allow. Теперь во всех случаях запрета индексирования нужно прописывать директиву Disallow.
