В Google отрапортовали, что теперь индекс системы расширился, а поисковый робот будет обрабатывать больше станиц сайтов по всему миру. Радостную новость сообщил хорошо известный всем оптимизаторам сотрудник поисковика Гэри Илш (Gary Illyes).
Замечу, что ещё в начале этого месяца сотрудники поиска признавались в том, что поисковые роботы Google в состоянии обработать не более 10 мегабайт содержимого страницы. Именно такой объём данных со страницы до недавнего времени забирал и анализировал за одну сессию сканирования Googlebot.
Если удача окажется на вашей стороне, то при каждой повторной индексации веб-краулеры будут обрабатывать новые порции контента. Таким образом, общее количество контента страницы в индексе в итоге превысит указанный объём. Пока не известно, увеличится ли объём контента, сканируемого роботом за один подход, но количество страниц в индексе поисковика обещает расти.
Что ж, по мере роста, расширения глобальной сети и пополнения её массой новых сайтов, Google решил расширить объём своего поискового индекса. Это вполне естественно и не может не радовать!