Если вы хотите, чтобы контент со страниц вашего сайта быстро и гарантированно попадал в индекс поисковика, не стоит создавать страницы объёмом более 10 мегабайт. Именно такой объём данных со страницы забирает и анализирует за одну сессию сканирования поисковый робот.
«Вполне очевидно, что объёмы содержимого страницы, которой мы можем загрузить на сервер за один сеанс сканирования — ограничен. Насколько я помню, это около 10 мегабайт. Таким образом, если объём контента вашей страницы не превышает 10 мегабайт, мы обработаем его и покажем в поисковой выдаче», — пояснил представитель поиска Джон Мюллер (John Mueller).
Согласно откровенному признанию гуглера, в случаях, когда страницы сайта весят более 10 мегабайт, лучше лишний раз перестраховаться и удостовериться в том, что Googlebot просканировал контент в пределах этого объёма. Если удача окажется на вашей стороне, то при каждой повторной индексации веб-краулеры будут обрабатывать новые порции контента. Таким образом, общее количество контента страницы в индексе в итоге превысит указанный объём. Тем не менее, за одну сессию Googlebot обрабатывает не более 10 мегабайт данных и не более.
И, наконец, главное: не забудьте открыть нужные страницы для поисковых роботов. Важно также, чтобы Googlebot видел сайт именно так, как ресурс показывается пользователю. Представители поиска рекомендуют проверять себя с помощью специального инструмента «Просмотреть как Googlebot». Он моделирует процесс сканирования и отображения веб-страниц и проверяет их доступность для поискового робота.
Удачной и быстрой индексации вашим сайтам и блогам, друзья!