Уровень подготовки веб-мастера: высокий
Google индексирует контент, оптимизированный для обычных мобильных телефонов и смартфонов с широким набором функций и возможностей, с помощью разных поисковых роботов. Но мы заметили, что, так как они оба называются Googlebot-Mobile, это нередко вызывает путаницу. Например, веб-мастера, намереваясь запретить сканирование и индексацию сайта для простых мобильных телефонов с ограниченными техническими возможностями, по ошибке запрещают сканирование сайта для всех устройств. Конечно, все это отрицательно сказывается на посещаемости веб-сайта.
Новый Googlebot для смартфонов
Чтобы веб-мастерам было проще разобраться в настройках, через 3–4 недели мы переименуем агент пользователя в нашем поисковом роботе для смартфонов. Название Googlebot-Mobile будет заменено на Googlebot с добавлением слова mobile в строку агента пользователя. Вы можете сравнить отличия ниже.
Googlebot – новый агент пользователя для смартфонов:
Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible;<b>Googlebot</b>/2.1; +http://www.google.com/bot.html)
Googlebot-Mobile – старый агент пользователя для смартфонов, который вскоре будет заменен:
Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
Эти изменения касаются только Googlebot-Mobile для смартфонов. У обычного робота Googlebot останется тот же агент пользователя, а у двух оставшихся поисковых роботов Googlebot-Mobile в строке агента пользователя по-прежнему будут указаны телефоны среднего класса. Как это выглядит, смотрите ниже.
Агент пользователя у обычного поискового робота Googlebot:
Mozilla/5.0 (compatible; Googlebot/2.1;
+http://www.google.com/bot.html)
Агенты пользователя у двух поисковых роботов Googlebot-Mobile для телефонов среднего класса:
SAMSUNG-SGH-E250/1.0 Profile/MIDP-2.0 Configuration/CLDC-1.1 UP.Browser/6.2.3.3.c.1.101 (GUI) MMP/2.0 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)DoCoMo/2.0 N905i(c100;TB;W24H16) (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
Проверить, смогут ли эти поисковые роботы проиндексировать ваш сайт, можно с помощью функции "Просмотреть как Googlebot" в Инструментах для веб-мастеров. Полный список наших поисковых роботов опубликован в Справочном центре.
Сканирование и индексирование
Обратите внимание, что после смены поискового агента новый Googlebot для смартфонов будет руководствоваться правилами в robots.txt, метатеге robots и HTTP-заголовках, которые касаются Googlebot, а не Googlebot-Mobile. Вот, например, правило в robots.txt, запрещающее сканировать сайт как обычному роботу Googlebot, так и новому роботу Googlebot для смартфонов:
User-agent: Googlebot
Disallow: /
А такое правило в robots.txt запретит сканирование поисковым роботам Google для простых мобильных телефонов:
User-agent: Googlebot-Mobile
Disallow: /
По нашим подсчетам, это обновление затронет менее 0,001% веб-страниц, но при этом позволит веб-мастерам точнее управлять сканированием и индексацией их контента. Если у вас возникнут вопросы, вы можете:
- ознакомиться с рекомендациями по оптимизации сайтов для смартфонов;
- узнать, как управлять разрешениями поисковых роботов Googlebot на сканирование и индексирование;
- задать вопрос здесь в комментариях, на форуме для веб-мастеров, в сообществе для веб-мастеров или принять участие в регулярных видеовстречах с веб-мастерами.
Автор: HabrAndrey
