Обычно техническое
Административные панели, авторизация, внутренний поиск, служебные API и временные сценарии.
Проверить и доработать robots.txt
Укажите сайт. SEOскоп загрузит текущий файл, попробует определить CMS, сохранит специальные группы и подготовит рекомендуемую версию с пояснением изменений.
robots.txtпроверка + генерация
Зачем проверять robots.txt
Robots.txt помогает управлять краулинговым бюджетом и не направлять роботов в бесконечные служебные комбинации. Ошибка в одной строке может закрыть публичный каталог, а слишком агрессивные шаблоны способны скрыть ресурсы, необходимые для рендеринга.
Генератор SEOскопа не подменяет файл универсальным шаблоном. Он разбирает группы User-agent, сопоставляет Allow и Disallow, ищет полный запрет, сохраняет Clean-param, Crawl-delay, комментарии и адреса sitemap.
Основные директивы robots.txt
| Директива | Назначение | Типичная ошибка |
|---|---|---|
User-agent | Начинает группу правил для конкретного робота или всех роботов | Правило относят не к той группе и ошибочно считают запрет глобальным |
Disallow | Не рекомендует обходить указанный путь | Disallow: / в общей группе закрывает весь сайт |
Allow | Разрешает более конкретный путь внутри закрытого раздела | Слишком широкое правило не перекрывается ожидаемым исключением |
Sitemap | Указывает полный URL XML-карты или sitemap index | В файл добавлен старый HTTP-адрес, редирект или чужой домен |
Clean-param | Помогает Яндексу объединять незначимые параметры | Параметр закрывают без проверки, хотя он создает целевые посадочные |
Crawl-delay | Задает паузу для поддерживающих директиву роботов | Чрезмерная задержка замедляет переобход большого сайта |
Что можно закрывать, а что нельзя закрывать автоматически
Требует стратегии
Фильтры, пагинация, сортировки, региональные параметры и фасетные страницы.
Обычно должно быть доступно
CSS, JavaScript, изображения, категории, товары, услуги, статьи и страницы контактов.
Как SEOскоп создает рекомендацию
- Загружает действующий файл. Если сайт временно недоступен, текст можно вставить вручную.
- Проверяет группы роботов. Googlebot, Yandex, User-agent: * и SEOskopBot анализируются отдельно.
- Определяет технологию. CMS используется только для осторожных служебных правил, а не для массового закрытия параметров.
- Сверяет sitemap. В итоговый файл добавляется канонический HTTPS-адрес актуальной карты.
- Формирует пакет. Пользователь получает текущий файл, рекомендуемую версию, список изменений и пояснения.
Важно: robots.txt регулирует обход, но не защищает конфиденциальные данные. Закрытые документы должны требовать авторизацию и не быть доступны по публичной ссылке.
Связь с полным SEO-аудитом
После SEO-аудита генератор использует больше фактов: найденные технические URL, CMS, ошибки sitemap и реальные правила по роботам. Затем результат можно проверить автоматическим краулером и сравнить с повторным аудитом. Для XML-карты используйте генератор sitemap, а подробный порядок работы описан в руководстве SEOскопа.