GoogleBot использует одни и те же Юзер-Агенты (User Agent) для индексации различных типов контента и не меняет их в зависимости от того, индексирует ли он javascript, AJAX или обычные сайты на HTML. Об этом нашим коллегам сообщил представитель поиска Джон Мюллер (John Mueller).
При этом иногда GoogleBot может не отдавать полный вид javascript-элемента с первого раза, однако потом всё будет отображаться нормально. По версии Мюллера, подобное содержимое сайтов не всегда начинает отображаться сразу после того, как завершается процесс сканирования. Иногда на это требуется несколько больше времени, чем хотелось бы.
Я же напомню вам, что в марте этого года представитель Google опубликовал подробнейшее описание того, как алгоритмы поисковой системы обрабатывают сайты на javascript (включая AJAX) и, так называемые, Progressive Web Apps — веб-приложения, созданные с применением новейших технологий и стандартов. Ознакомиться с перечнем можно здесь.