Главное зеркало сайта


Приветствую вас, уважаемые читатели SEO блога Pingo. Я продолжаю свой курс SEO и от семантики мы плавно переходим к технической оптимизации. Первый шаг в рамках этого этапа — определение и настройка главного зеркала сайта.

Почему это важно?

Причин несколько. Во-первых, зеркала сайта — это дубли, от которых нам нужно избавиться, объяснив поисковой системе, что индексировать нужно только одно из них. Вторая причина заключается в том, что ссылки, проставляемые на сайт, как правило разношерстны — кто-то написал Url с WWW, а другой человек указал адрес без него. В итоге ссылочная масса размазывается между этими двумя вариантами. Описанные в данном материале действия призваны полностью решить подобные проблемы.

Как узнать главное зеркало сайта?

Если сайт уже не новый, то первым делом нам нужно определить, какое из зеркал (с WWW или без) было проиндексировано. Способ довольно прост — переходим на аддурилку Яндекса https://webmaster.yandex.ru/addurl.xml и, прописав Url нашего сайта, получим следующее:

Главное зеркало сайта

В случае, если введенный вами адрес и является главным зеркалом, то результат проверки будет иметь вид «Сайт www.site.ru уже проиндексирован».

Ну или второй способ определения основного зеркала, справедливый как для Яндекс, так и для Google — просто ввести в поиск адрес сайта и посмотреть вариант, который будет выведен на первой строчке.

Главное зеркало сайта

Что если основное зеркало сайта в Яндекс не совпадает с Google?

Лучше оставить тот вариант, который прижился в Яндексе, подогнав Google под него же. По моим наблюдениям Яндекс куда дольше и значительно болезненнее переживает смену главного зеркала, нежели Google. Как «подогнать» — будет описано ниже.

Главное зеркало сайта: с WWW или без

Практической разницы нет — выбирайте то, что вам больше нравится. Мне сугубо из олдскульных привычек импонирует вариант с WWW, но я не могу не признать, что без WWW адрес сайта короче и внимание акцентируется сразу на его названии, а не на приставке-анахронизме (World Wide Web) из времен зари глобальной сети, когда она была обязательной.

Как указать главное зеркало сайта?

В целом этот процесс состоит из трех этапов. Первым делом нужно прописать директиву host в конце нашего файла robots.txt следующим образом:

User-agent: *
...
Host: www.site.ru
Sitemap: http://www.site.ru/sitemap.xml

В первую очередь это необходимо для Яндекса, так как для Google данная директива ничего не значит. Далее мы переходим ко второму этапу, который для каждой поисковой системы свой и заключается в настройке кабинетом веб-мастеров.

Настройка главного зеркала в Яндекс

Переходим в панель вебмастера Яндекс сайта. Если его там еще нет, то срочно добавляем.

Далее — «Настройка индексирования» — «Главное зеркало», где мы и выбираем вариант, которому отдаем предпочтение.

Главное зеркало сайта

Настройка главного зеркала в Google

Дважды добавляем сайт в панель вебмастера Google — то есть адреса с WWW и без, как будто это два разных сайта. Затем для каждого из них в настройках выбираем нужный вариант и сохраняем.

Главное зеркало сайта

Как склеить зеркала сайта?

Последним этапом станет прописывание серверных 301 редиректов в файле htaccess, которые окончательно положат конец неуместному зеркалу, переадресовав все его страницы на нужный вариант.

Options +FollowSymLinks
RewriteEngine On
<FilesMatch "robots.txt$">
RewriteEngine off
</FilesMatch>
RewriteCond %{HTTP_HOST} ^www.site.ru$
RewriteRule (.*) http://site.ru/$1 [R=301,L]

Данный пример справедлив для случая, когда главное зеркало — без WWW. Для обратной ситуации просто поменяйте «www.site.ru» и «site.ru» местами. Участок «FilesMatch» запрещает переадресацию файла robots.txt неосновного зеркала — это необходимо для того, чтобы была директива хост, при обращении поисковой системы к неглавному алиасу, указывала на главное.

Вот, вроде, и всё. Этот небольшой, но важный этап окончен. Вопросы?

Материал обновлен: 31 мая 2016.




Смотрите также:

Комментарии (12)
  1. Константин
    16 сентября 2015 12:52
    Скажите а нужно ли указывать главное зеркало если в обеих поисковиках выдаёт правильный ответ?
  2. 16 сентября 2015 14:15
    Цитата: Константин
    Скажите а нужно ли указывать главное зеркало если в обеих поисковиках выдаёт правильный ответ?


    Да, нужно, потому что может случайно произойти переклейка главного зеркала по неведомой логике робота. Недавно был случай, когда настройки слетели и сайт остался без явного указания на главное зеркало, в результате чего оно было переопределено, так что лучше обезопаситься.
  3. Константин
    16 сентября 2015 15:50
    Скажите пожалуйста. Значит в не зависимости от того что показывает яша или гугл, зеркало всётаки лучше указать, а что бы вы добавили в так-сказать джентельменский набор для сайта, в обязательном порядке? В не зависимости от количества страниц и движка? Я имею ввиду к примеру, sitemap.xml обязательно нужа, robot.txt обязательно должен быть или нет? В общем, какие файлы необходимо иметь на любом сайте? Или какие файлы и в каких случаях иметь или не иметь? Потому что я никогда не добавлял никаких файлов, а сейчас решил оптимизировать что-ли. Недавно хлебные крошки добавил, вычитал что это положительно влияет на ранжирование сайта. Подогнал под платформу планшета и смартфона.
  4. 17 сентября 2015 02:46
    Да, лучше указать его, даже если оно уже определено в обеих поисковых системах. Дел на 5 минут, а неприятных, хоть и очень маловероятных, проблем можно будет избежать. А склейка зеркал в htaccess - так вообще стандартная процедура при начале оптимизации сайта вообще независимо ни от чего.
     
    Sitemap - нужен для ускорения индексации сайта, новых страниц на нем. На позиции он влияния не оказывает.
     
    Хлебные крошки на ранжирование не влияют (хотя тут недавно Google предупредил, что микроразметка скоро станет фактором ранжирования). Они влияют на CTR сайта в поисковой выдаче.
     
    А вот повышение удобства пользования на мобильных устройства - очень даже полезно.
     
    По поводу именно файлов - да в принципе лишь sitemap и robots. В файле htaccess осуществляется склейка, но он и так практически всегда присутствует в корне, тут лишь вопрос его настройки. Файлы для подтверждения кабинетов вебмастеров Яндекс\Гугл\Мэил я не считаю.
     
    Дальше перепроверить - все ли технические страницы сайта закрыты, нет ли дублей и переходить к оптимизации html-кода\мета\контента. После - прорабатывать удобство сайта. Тезисно - как-то так.
  5. Kirill
    5 апреля 2016 20:49
    А если сайт не http а https как быть? Что в хост писать и т.д.
  6. 6 апреля 2016 02:00
    Да, нужно дополнить материал с учетом https. А прописывать следующее:

    RewriteEngine On
    <FilesMatch "robots.txt$">
    RewriteEngine off
    </FilesMatch>
    RewriteCond %{HTTP:X-HTTPS} !1 [OR]
    RewriteCond %{HTTP_HOST} ^www\.(.*) [NC]
    RewriteRule (.*) https://site.ru/$1 [R=301,L]
  7. Kirill
    6 апреля 2016 10:55
    У меня нет апача, а nginx+php7-fpm, но редирект стоит.Как быть с робот.тхт в директиву host писать https://example.com?
  8. 15 апреля 2016 01:05
    Да, верно.
  9. 8 июля 2017 03:39
    Не совсем рассматриваемая тема, но рядом, потому спрошу, авось ответите?
    Был корпоративный сайт, на который я написал множество уникальных статей. Затем я покинул фирму, а сайт остался. Мне стало жаль оставлять просто так огромный труд, который делался бесплатно на энтузиазме. Решил взять все хорошие статьи и разместить на новом сайте, но старый продолжает работать. Как поисковики к этому отнесутся? Думаю, не очень хорошо? Возможно, можно обыграть в данном случае тему с зеркалами? К примеру как-то указать, что новый - главный, а старый - как зеркало? Но сайты не совсем идентичны как по внешнему виду, так и по контенту. На старом много корпоративных новостей, которые я не брал себе. На новом будут появляться статьи, каких уже нет на старом. Что посоветуете?
    1. 10 июля 2017 22:36
      Все упирает в один вопрос. У вас есть доступ к старому сайту?
  10. 19 сентября 2017 13:08
    Добрый день! Очень требуется ваша помощь. У сайта в зоне рф (сайт.рф) есть 2 зеркала (site1.ru и site2.ru). Всего получается главный сайт + 5 синонимов (зеркал), т.к. всего их 3, а каждый без www и с www. От двух зеркал в зоне ru (в итоге 4 адреса: 2 без www и 2 с www ) хочется отказаться
    (чтобы не платить за домены и избежать проседания позиций сайта). Как это грамотно сделать, чтобы не навредить основному сайту? Все данные залиты на хостинг для сайт.рф. Не смотря на это как в поисковой выдаче, так и при обходе сайта роботом (Вэбмастер - Индексирование — статистика обхода) присутствуют ссылки не только на сайт.рф/razdel, но и на site1.ru/nazvanie_stranicy, и на site2.ru/ nazvanie_stranicy/
    Как грамотно избавиться от зеркал, чтобы в итоге не оказалось ненайденных страниц при заходе с c поисковой выдачи и т.п.?
    1. 19 сентября 2017 21:09
      Здравствуйте.

      1. Не пойму - все эти зеркала склеены (настроен robots и редирект)? Показывается ли в Яндекс Вебмастере, что они являются неосновными зеркалами сайт.рф? Какой ответ отдают страницы alias.ru в этой самой статистике обхода? 200? 301?

      2. На зеркалах располагалось что-либо? Или сразу после регистрации была настроена переадресация на основной домен? Просто как может на alias.ru существовать страница, которая отсутствует на сайт.рф, если на alias.ru не располагалось сайта.
Оставить комментарий

  • bowtiesmilelaughingblushsmileyrelaxedsmirk
    heart_eyeskissing_heartkissing_closed_eyesflushedrelievedsatisfiedgrin
    winkstuck_out_tongue_winking_eyestuck_out_tongue_closed_eyesgrinningkissingstuck_out_tonguesleeping
    worriedfrowninganguishedopen_mouthgrimacingconfusedhushed
    expressionlessunamusedsweat_smilesweatdisappointed_relievedwearypensive
    disappointedconfoundedfearfulcold_sweatperseverecrysob
    joyastonishedscreamtired_faceangryragetriumph
    sleepyyummasksunglassesdizzy_faceimpsmiling_imp
    neutral_faceno_mouthinnocent




Заполняя данную форму и нажимая кнопку «Добавить», вы соглашаетесь с политикой конфиденциальности сайта.