Файл robots.txt запрещает (разрешает) индексирование и посещение поисковыми роботами файлов из указанных в нём директорий. Давайте создадим файл robots.txt для MODX Revo.
Войдите в панель администратора: ваш_домен/manager/
В левой части находим вкладку: Файлы → Filesystem. Правой кнопкой мыши нажимаем на Filesystem и выбираем Создать файл:
В открывшемся окне в поле Имя файла необходимо прописать robots.txt, в поле Содержимое:
User-agent: * Disallow: /cgi-bin Disallow: /manager/ Disallow: /assets/components/ Disallow: /core/ Disallow: /connectors/ Disallow: /index.php Disallow: *? Host: mysite.ru Sitemap: http://mysite.ru/sitemap.xml
Для понимания:
User-agent: * — для всех поисковых роботов;
Disallow: — закрыть для индексирования;
/cgi-bin — каталог, который содержит (или не содержит — пустой) серверные скрипты. Как правило, есть на всех хостингах;
/manager/, /assets/components/, /core/, /connectors/ — директории, которые поисковые роботы не будут индексировать;
/index.php — это дубль главной страницы сайта;
*? — удаляем дубли для всех страниц;
mysite.ru — поменяйте на ваш домен.
Сохраните файл и проверьте его по адресу: https://ваш_домен/robots.txt
СВами
MODX Revolution. Настройка ЧПУ
