Взяв курс на мобилизацию всего интернета, Google обновил UserAgent своего поискового робота для смартфонов. Изменения не стали радикальными, но, тем не менее, заметные изменения, всё же, есть.
Когда обновлённый краулер для смартфонов вступит в свои права, директива robots.txt будет закрывать страницы от индексации как мобильной, так и веб-версией поискового робота:
User-agent: Googlebot
Disallow: /
Чтобы закрыть страницу от сканирования только мобильным роботом, нужно применить команду:
User-agent: Googlebot-Mobile
Disallow: /
Код нового UserAgent’а, призванного заменить предшествующую версию, выглядит так:
Mozilla/5.0 (iPhone; CPU iPhone OS 8_3 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12F70 Safari/600.1.4 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Устаревший вариант был таким:
Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Инженеры поисковика также сообщили о своём намерении «отправить на покой» текущую версию мобильного Googlebot’а, а именно — вот эту:
Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
Узнать все интересующие подробности о новых и устаревших можно здесь.