Способы влияния на индексацию страниц в Яндекс и Google

Иногда веб-мастеру необходимо запретить индексацию страницы целиком или ее части. Например, Вы не хотите чтобы на вашем сайте индексировалась реклама, блок ссылок или страницы с результатами поиска. В данной статье я постарался собрать все методы влияющие на индексацию в поисковых системах Яндекс и Google.

Контроль индексации в Яндекс

Файл robots.txt

С помощью данного файла администратор может ограничить доступ роботов поисковых систем как к части сайта так и к отдельным страницам.

Пример 1:

User-agent: * Disallow: /basket.php В этом примере мы запретили, роботам обращение к скрипту корзины Интернет-магазина. * - обозначает что данное правило применимо ко всем роботам.
Яндекс поддерживает диррективу Host в файлах robots.txt, это позволяет указать поисковику главное зеркало сайта, которое и будет отображаться в результатах поиска.

Пример 2:

User-agent: Yandex Disallow: /basket.php Host: www.site.ru

либо

User-agent: Yandex Disallow: /basket.php Host: site.ru

В первом случае мы указали главным домен www.site.ru, во втором site.ru.

Пример 3:

User-Agent: * Disallow: /

В этом примере роботу полностью запрещен обход сайта.

<a rel="nofollow">

Используя атрибут rel="nofollow", мы запрещаем поисковику переход по ссылке и утекание "веса" страницы.
PS: Данный атрибут также поддерживают роботы Google, Bing и Yahoo.

Тег <--noindex-->

Ранее веб-мастерам приходилось использовать невалидный тег <noindex> для запрета индексации части страницы для роботов Яндекса, но по многочисленным просьбам Яндекс сделал валидную версию данного тега - <--noindex-->. Для запрета индексации куска текста или html кода заключите его между открывающим и закрывающим тегами noindex.

Пример:

<--noindex-->Этот текст не индексирует Яндекс!</--noindex-->

Контроль индексации в Google

Google, как и Яндекс поддерживает атрибут rel="nofollow" у ссылок и файлы robots.txt, за исключением диррективы Host. Указать главное зеркало можно через Инструменты Google для веб-мастеров

Теги googleoff/googleon для контроля индексирования частей страниц

С помощью тегов googleoff/googleon мы можем запретить роботу индексировать часть страницы или блок ссылок. Существует 4 вида тегов. Я рассмотрю их на конкретных примерах, чтобы Вам было ясно о чем идет речь.

Пример 1:

аквариумные <!--googleoff: index-->рыбки<!--googleon: index--> неплохо размножаются

В результате слова «аквариумные» и «нелохо размножаются» проиндексируются, а вот слово «рыбки» нет.

Пример 2:

<!--googleoff: anchor--><a href="razdaem-slonov.html">раздаем слонов</a><!--googleon: anchor-->

В этом примере у нас не проиндексируется текст ссылки, следовательно, при поиске по словосочетанию «раздаем слонов» документ razdaem-slonov.html не появится в результатах поисковой выдачи.

Пример 3:

<!--googleoff: snippet-->Меня не видно!<!--googleon: snippet-->

Текст расположенный между открывающим и закрывающим тегами с атрибутом snippet не будет отображаться в результатах выдачи, но будет проиндексирован.

Пример 4:

<!--googleoff: all-->Меня не видно!<!--googleon: all-->

Последний пример - это комбинация трех предыдущих.

UPD: Как выяснилось теги googleoff/googleon работают только для Google Search Appliance и Google Mini, но не для обычного поиска Google.

Теги <!-- google_ad_section_start-->, <!-- google_ad_section_end-->

Данные теги пригодятся для веб-мастеров размещающих на своих сайтах рекламу Google Adsense. Они сообщат боту Adsense какой контент является более релевантным на странице.

Возможно я что-то пропустил в своем обзоре. Если у Вас есть дополнения или замечания, пишите комментарии и я дополню данную статью.