Очень многие начинающие разработчики сайтов, SEO оптимизаторы, маркетологи сталкиваются с проблемой поисковой выдачи в Яндексе. Сайт или плохо индексируется, или его совсем нет в выдаче. Это касается проектов, имеющих домен как с www, так и без www. Сайт вида www.site.ru является зеркалом сайта site.ru и что это один и тот же сайт должны понимать все поисковики. Яндекс — исключение. Этот поисковик однажды может обнаружить, что сайт site.ru полностью дублирует содержимое сайта www.site.ru и/или наоборот и исключить одно или оба зеркала из индекса, так как считает, что по этим адресам находятся разные сайты. Получается так называемый бан, и чтобы вернуть сайт в поисковую выдачу, потребуется не раз написать в службу технической поддержки Яндекса, предварительно правильно оформив файл robots.txt. Возможно пройдет не один месяц и только после ручной проверки ресурса Яндекс вернет сайт в поисковую выдачу.
Что написать в файле robots.txt, чтобы избежать вышеперечисленных проблем? Обязательно указать в директивах основной домен (Host: site.ru или Host: www.site.ru) для поискового бота Яндекса:
User-agent: Yandex Host: site.ru
Теперь поисковый робот Яндекса не запутается. Он получил указание на каком сайте находится первичный контент.
СВами
