Яндекс, файл robots.txt и поисковая индексация сайта

Очень многие начинающие разработчики сайтов, SEO оптимизаторы, маркетологи сталкиваются с проблемой поисковой выдачи в Яндексе. Сайт или плохо индексируется, или его совсем нет в выдаче. Это касается проектов, имеющих домен как с www, так и без www. Сайт вида www.site.ru является зеркалом сайта site.ru и что это один и тот же сайт должны понимать все поисковики. Яндекс — исключение. Этот поисковик однажды может обнаружить, что сайт site.ru полностью дублирует содержимое сайта www.site.ru и/или наоборот и исключить одно или оба зеркала из индекса, так как считает, что по этим адресам находятся разные сайты. Получается так называемый бан, и чтобы вернуть сайт в поисковую выдачу, потребуется не раз написать в службу технической поддержки Яндекса, предварительно правильно оформив файл robots.txt. Возможно пройдет не один месяц и только после ручной проверки ресурса Яндекс вернет сайт в поисковую выдачу.

Что написать в файле robots.txt, чтобы избежать вышеперечисленных проблем? Обязательно указать в директивах основной домен (Host: site.ru или Host: www.site.ru) для поискового бота Яндекса:

User-agent: Yandex
Host: site.ru

Теперь поисковый робот Яндекса не запутается. Он получил указание на каком сайте находится первичный контент.

СВами

Прямые ссылки, nofollow, noindex и редирект