Прямые ссылки, nofollow, noindex и редирект

Считается, что наращивание прямых ссылок на сайт со стороны других сайтов — это прямой путь к высоким позициям первого в поисковой выдаче. Ссылки влияют на показатели PR (Page Rank) от Google и ТИЦ (Тематический Индекс Цитирования) от Яндекса. Прямые ссылки повышают показатели ресурса, непрямые или, как еще их называют, кривые никак не влияют на позиции сайта. Повышение показателей или веса ресурса происходит путем передачи части веса страницы, на которой и находится прямая ссылка. То есть ссылочный вес страницы передается тому сайту, на который ведет. Web-разработчики, контент-менеджеры должны понимать, что любая прямая ссылка, расположенная на сайте, отдает часть веса последнего в пользу той страницы, того сайта куда ведет. Это нужно знать.

Теперь давайте разберемся как выглядит прямая ссылка и что нужно сделать, чтобы ссылку оставить, а вес не отдать.

Прямая ссылка имеет вид:

<a href="http://www.site.ru">Прямая ссылка</a>

Атрибут nofollow

Применение:

<a href="http://www.site.ru" rel="nofollow">Текст ссылки</a>

Все поисковые роботы видят ссылку, но по таким ссылкам не переходят, а также не передается ссылочный вес. Эта ссылка не является прямой.

Элемент noindex

Для того, чтобы скрыть целые блоки, куски кода, участки текста страницы существует тег <noindex> ... </noindex>. Он указывает роботу Яндекса, что текст, заключенный в него, не подлежит индексации. Для всех остальных поисковиков этот блок содержимого будет индексироваться и соответственно передавать ссылочный вес.

Применение:

<noindex>текст, индексирование которого нужно запретить</noindex>

Метатег nofollow и follow

Если в начале страницы поставить метатег nofollow, то не один из поисковиков не будет переходить по ссылкам на этой странице, не будет индексировать страницы, на которые ведут ссылки, а значит и ссылочный вес передаваться не будет. В этом случае все ссылки, находящиеся на странице не будут являться прямыми.

Применение:

<meta name="robots" content="nofollow" />

Метатег follow используется для указания поисковикам переходить на страницы по всем ссылкам.

Применение:

<meta name="robots" content="follow" />

Метатег noindex и index

При указании метатега noindex поисковики понимают, что индексировать содержимое страницы не надо. Но наличие этого метатега не запрещает пройти по ссылкам на странице и проиндексировать содержимое, на которое указывают эти ссылки. Также в этом случае нет запрета на передачу ссылочного веса.

Применение:

<meta name="robots" content="noindex" />

Метатег index разрешает индексацию, его можно не указывать, так как он используется по умолчанию.

Применение:

<meta name="robots" content="index" />

Необходимо отметить, что метатеги действуют на уровне всей страницы или даже сайта, тогда как элементы, атрибуты, теги только на локальном уровне.

Объединение noindeх и nofollow

Чтобы не писать две строки с двумя метатегами noindeх и nofollow, их можно объединить в один общий метатег:

<meta name="robots" content="noindex, nofollow" />

В этом случае страница не будет проиндексирована поисковыми роботами, они не перейдут по ссылкам, а также ссылочный вес страницы не будет передан.

В целом же эти два метатега можно объединить и использовать в разных комбинациях.

Параметр content может принимать еще значения all и none:

  • <meta name="robots" content="all" /> — разрешено индексировать текст и ссылки на странице, что аналогично <meta name="robots" content="index, follow" />
  • <meta name="robots" content="none" /> — запрещено индексировать текст и переходить по ссылкам на странице, аналогично <meta name="robots" content="noindex, nofollow" />

Для каждого поискового бота можно использовать свой метатег:

<meta name="GoogleBot" content="noindex, follow" />
<meta name="YandexBot" content="index, nofollow" />

Здесь разрешают поисковику Google передавать ссылочные вес по всем ссылкам и переходить по ним, но запрещают индексацию страницы. А вот поисковику Яндекс разрешают индексировать страницу, но запрещают переходить по ссылкам и передавать ссылочный вес. Надо заметить, что метатеги написаны только для Google и Яндекса, а все остальные поисковики такие инструкции проигнорируют.

Файл robots.txt

Перекрыть для индексации страницу или каталог можно в файле robots.txt. При этом ссылка, находящаяся на странице может быть прямой, не имеющей атрибута nofollow, не находящейся в теге noindex, и сама страница будет иметь метатеги follow и indeх, то есть будут все разрешения поисковикам на индексацию, на отдачу ссылочного веса и переходу по ссылкам. Для этого существует директива Disallow.

Применение:

User-agent: *
Disallow: *

User-agent: Yandex
Disallow: /administrator

Такие записи в файле robots.txt будут указывать всем поисковикам не индексировать весь сайт, а Яндексу индексировать все, кроме директории /administrator. Если присутствует директива User-agent: Yandex, то остальные директивы Яндексом не используются (в данном случае User-agent: *).

Ссылки в комментариях и окруженные JavaScript

HTML комментарии <!-- ... --> не только не отображаются на страницах браузеоров, но и не передает ссылочного веса.

Ссылки, которые находятся внутри скриптов также не индексируются поисковиками, например:

<script> <!-- document.write('<a href="http://site.ru">site.ru</a>'); //--> </script>

<script language='JavaScript'>document.write('<a href="http://site.ru">site.ru</a>');</script>

В первом случае присутствуют еще и комментарии.

Особенность этих ссылок обуславливается тем, что если пользователь в браузере выключил поддержку JavaScript, то такие ссылки и отображаться не будут. Со стороны поисковиков требуются дополнительные мощности для создания баз данных с такими ссылками, но пока таких возможностей нет, и ссылки такого рода не индексируются.

Редирект

Редирект — это перенаправление на другую страницу в Интернете. Существует несколько вариантов:

I. Редирект через JavaScript

Применение:

<a href="http://other_site.ru/page.html">site.ru</a>

<script language="JavaScript"> <!--window.location.href="http://site.ru"//--> </script>

При переходе по ссылке site1.ru пользователь попадает на сайт site2.ru, где в свою очередь происходит перенаправление на сайт site1.ru. В этом случае сайт site2.ru получает ссылочный вес и индексацию. Тогда как сайт site1.ru не получает ничего.

II. Редирект через метатег

Применение:

<meta http-equiv="refresh" content="1; url=http://site.ru">

При переходе на страницу, содержащую такой метатег, происходит перенаправление по указанному в параметре url адресу через 1 секунду. Такое перенаправление с использованием при небольших задержках считается Яндексом временным перенаправлением.

Существуют еще два вида: редирект через серверные скрипты и редирект через Dynamic HTML. Последний приравнивают к редиректу через JavaScript, так как они подобны.

СВами

Яндекс, файл robots.txt и поисковая индексация сайта