Читает текущий файл
Сохраняет специальные группы и ссылку на существующую карту сайта.
Проверить и доработать robots.txt
Укажите сайт. SEOскоп загрузит текущий файл, попробует определить CMS, сохранит специальные группы и подготовит рекомендуемую версию с пояснением изменений.
robots.txtCMS-aware
Что делает генератор robots.txt
Инструмент не просто выдает универсальный шаблон. Он проверяет действующий файл, находит полный запрет обхода, дубли групп и директив, сохраняет отдельные правила для конкретных роботов и добавляет осторожные ограничения для служебных URL выбранной CMS.
Определяет технологию
Учитывает 1С-Битрикс, WordPress, OpenCart, Joomla или универсальный профиль.
Проверяет риски
Отмечает Disallow: /, дубли, неправильную структуру и отсутствие Sitemap.
Готовит пакет
Показывает рекомендуемый файл, список изменений и разницу с исходником.
Какие URL обычно закрывают
| Тип URL | Пример | Почему |
|---|---|---|
| Административные страницы | /bitrix/admin/, /wp-admin/ | Не являются поисковыми посадочными. |
| Личный кабинет и авторизация | /personal/, /login/ | Создают служебные сценарии и дубли. |
| Внутренний поиск | /search/, /?s= | Часто формирует почти бесконечное число слабых URL. |
| Трекинговые параметры | ?utm_, ?yclid= | Не должны становиться отдельными индексируемыми страницами. |
Важно: robots.txt управляет обходом, но не гарантирует удаление URL из индекса. Для конфиденциальных страниц нужна авторизация, а для исключения индексируемой страницы — корректная комбинация статуса, meta robots, canonical и внутренних ссылок.
После публикации проверьте файл в автоматическом краулере, создайте sitemap.xml и повторите аудит.
