Поисковые роботы Яндекса не будут считать пустую директиву Allow в robots.txt запретом индексации


Сегодня команда Яндекса сообщила о том, что роботы поисковика перестают учитывать пустую директиву Allow в robots.txt как сигнал, запрещающий индексацию.

Нередко индексирующий робот не может получить доступ к сайтам из-за того, что в robots.txt по ошибке установлен запрет на посещение всех страниц. Заметная часть таких ошибок — последствие применения пустой директивы Allow:

User-agent: *
Allow:

Если ранее индексирующий робот Яндекса расценивал это правило как полностью запрещающее, то теперь пустая директива Allow при обнаружении в robots.txt будет игнорироваться.

«Если на вашем сайте намеренно используются пустое правило Allow в robots.txt, то для того, чтобы робот корректно учитывал запрет, правило нужно изменить на директиву Disallow», — поясняют в Яндексе.

Директива запрета индексации в файле robots.txt может выглядеть так:

Disallow: *

Или так:

Disallow: /

Убедиться, что разрешено, а что запрещено в robots.txt желающие могут в соответствующем разделе Яндекс Вебмастера. Отдельное внимание специалисты поиска советуют обратить на пустые значения для Allow. Теперь во всех случаях запрета индексирования нужно прописывать директиву Disallow.

Поисковые роботы Яндекса не будут считать пустую директиву Allow в robots.txt запретом индексации

Поисковые роботы Яндекса не будут считать пустую директиву Allow в robots.txt запретом индексации

Оцените статью:
5 1 1



Комментарии (0)
Оставить комментарий

  • bowtiesmilelaughingblushsmileyrelaxedsmirk
    heart_eyeskissing_heartkissing_closed_eyesflushedrelievedsatisfiedgrin
    winkstuck_out_tongue_winking_eyestuck_out_tongue_closed_eyesgrinningkissingstuck_out_tonguesleeping
    worriedfrowninganguishedopen_mouthgrimacingconfusedhushed
    expressionlessunamusedsweat_smilesweatdisappointed_relievedwearypensive
    disappointedconfoundedfearfulcold_sweatperseverecrysob
    joyastonishedscreamtired_faceangryragetriumph
    sleepyyummasksunglassesdizzy_faceimpsmiling_imp
    neutral_faceno_mouthinnocent