Три понятных начала
Вставьте текст, импортируйте TXT или отдельно загрузите robots.txt сайта. Для нового файла есть минимальные шаблоны популярных CMS. Ошибка загрузки не превращается в пустой разрешающий файл.
Создайте robots.txt и проверьте правила до публикации
Посмотрите, какое правило разрешает или закрывает URL. Сохраните исходник, подготовьте изменения и сравните доступ до и после — без автоматической публикации.
- Редактор групп
- Строка решающего правила
- Сравнение до / после
Редактор, генератор и проверка robots.txt
Откройте файл с сайта, вставьте текст или создайте отдельный черновик. Исходные группы и комментарии сохраняются. Изменения в редакторе не публикуются на сайте.
Текст и импорт TXT обрабатываются в браузере. Сетевая загрузка запускается только в режиме «Загрузить с сайта»: публичные HTTP(S), порты 80/443, до 5 редиректов и 20 секунд на сервере. Ошибка загрузки не превращается в разрешающий файл.
Источник и исходный текст
Конструктор новой группы
Группа применяется к выбранному роботу. Точные повторные группы объединяются при проверке; общая * не наследуется специальными группами.
Добавить Sitemap
Несколько карт и другой домен допустимы. Адреса не заменяются на HTTPS автоматически; доступность XML здесь не проверяется.
Изменения текста
Доступ к URL: до и после
Проверка синтаксиса и Allow/Disallow: регистр пути, * и $, percent-encoding, объединение одинаковых групп, Allow при равной длине. Для Googlebot-Image/News/Video, Google-InspectionTool, GoogleOther-Image/Video и YandexBot/Images учитывается базовая группа. AdsBot, Mediapartners и APIs-Google не используют *; Google-Safety игнорирует robots.txt. Другие имена проверяются как точные product tokens с fallback на *. Это ограниченная модель; она не имитирует HTTP-кэш, Clean-param, индексацию или поведение всех специальных роботов. Лимит матрицы — 1 млн сопоставлений.
До 512000 байт, 10000 строк, 4096 байт в строке, 5000 Allow/Disallow. За пределами лимита проверка останавливается явно. Robots.txt управляет обходом и не защищает данные. Разрешение обхода не означает индексацию.
Закажите работу в личном кабинете
Опишите задачу или выберите замечания аудита. Получите предварительную оценку, согласуйте с Дмитрием смету и срок. Переписка, оплата этапов, файлы и приёмка — в одном заказе. Работа специалиста оплачивается отдельно от подписки на SEOскоп.
Возможности инструмента
Что вы получите
Объяснение конкретного решения
Передайте URL и выберите роботов. Матрица покажет разрешение или запрет, решающую строку и основание. Область протокола, хоста и порта учитывается отдельно.
Контроль изменений
Сравните исходные и новые правила на одном наборе URL. Проверьте важные разделы, параметры, CSS и JS до скачивания. Редактор не устанавливает файл на сервер.
От результата к действию
Какой сигнал требует проверки
| Ситуация | Что проверить | Что нельзя заключать |
|---|---|---|
| Широкий Disallow | Не закрываются ли полезные разделы и ресурсы. | Запрет обхода не гарантирует исчезновение URL из поиска. |
| Правило вне группы | Есть ли перед ним корректный User-agent. | Нельзя автоматически назначить его всем роботам. |
| Разные решения до / после | Посмотрите строку, которая изменила доступ. | Нельзя считать изменение безопасным без проверки важных URL. |
| Host, Crawl-delay, Clean-param | Поддержку директивы нужным поисковиком и задачу правила. | Модель доступа не эмулирует все особенности роботов и их кеша. |
Практика работы
Как работать с инструментом
- Сохраните текущий файлНачните с исходного текста или загрузки. При HTTP-ошибке проверьте причину, не заменяйте результат новым шаблоном.
- Подготовьте черновикОтредактируйте группы, пути и ссылки Sitemap. CMS-шаблон используйте как отправную точку, а не готовую политику всего сайта.
- Сравните доступПроверьте главную, коммерческие разделы, параметры, изображения и служебные ресурсы на нужных роботах.
- Передайте на внедрениеСкачайте TXT и отчёт. Размещение на сервере и последующая проверка — отдельные действия владельца сайта.
Условия и ограничения
Ответы на частые вопросы
Robots.txt запрещает индексацию?
В первую очередь он управляет обходом. URL может остаться в поиске, даже если его обход запрещён. Не используйте robots.txt как защиту персональных данных или замену авторизации.
Есть ли шаблоны для CMS?
Да: минимальный, WordPress, 1С-Битрикс, Joomla, Drupal, OpenCart, MODX и Next.js/статический сайт. Это небольшие черновики, которые нужно проверить на структуре своего сайта.
Можно проверить Googlebot и Яндекс?
Да, доступны основные агенты и собственный product token. Сервис показывает результат ограниченной модели правил, а не реальный визит робота или факт индексации.
Можно указать несколько Sitemap?
Да. Внешние адреса допускаются, но содержимое XML автоматически не проверяется. HTTP не переписывается на HTTPS без вашего решения.
Что сохраняется в отчёте?
Исходник, изменённый текст, сведения о получении и результаты проверки. TXT — сам файл, CSV — матрица, JSON — полный отчёт. В интерфейсе число строк результата ограничено, в экспорте набор полный.
Какие лимиты у проверки?
До 500 KiB UTF-8 и 10 000 строк файла, до 200 URL и 8 роботов в матрице. Слишком сложный расчёт останавливается с сообщением, а не выдаёт частичный результат как полный.
Сервис автоматически меняет robots.txt сайта?
Нет. Редактирование локальное; только выбранный режим загрузки делает запрос к сайту через сервер SEOскопа. Публикация файла не выполняется.
По вашему запросу ответы не найдены. Попробуйте другое слово.
Инструменты связаны одной задачей