Результаты обхода преобразуются в те же группы данных, которые используются при профессиональном техническом аудите.
01
Индексация и метатеги
Коды ответа, редиректы, Title, Description, H1/H2, robots directives, canonical и hreflang.
02
Ссылки и ресурсы
Внутренние и внешние ссылки, глубина, анкоры, изображения, alt, JavaScript и пагинация.
03
Sitemap и микроразметка
URL из sitemap.xml, sitemap_index.xml, вложенных карт сайта, типы JSON-LD и страницы, найденные разными источниками.
Безопасный и управляемый обход
✓ Только публичные HTTP/HTTPS-адреса и стандартные порты
✓ По умолчанию переходы остаются на основном хосте; поддомены можно включить отдельно
✓ Robots.txt анализируется отдельно; в строгом режиме закрытые URL пропускаются, в режиме аудита — проверяются и помечаются
✓ Если robots.txt закрывает практически весь сайт, отчет выводит отдельное P1-оповещение и ограничивает итоговую оценку
✓ Для каждого включенного поддомена анализируются собственные robots.txt и sitemap
✓ Проверяются стандартные адреса sitemap.xml, sitemap_index.xml, sitemap-index.xml и wp-sitemap.xml
✓ Этап чтения sitemap ограничен по времени: при проблеме обход продолжается по внутренним ссылкам
✓ Если HTTP 200 возвращает пустую JavaScript-оболочку без внутренних ссылок, стартовая страница дополнительно отрисовывается Chromium и очередь строится по реальному DOM
✓ Если после браузерной проверки найден только один URL, SEOскоп не объявляет охват 100% и не рассчитывает массовые выводы по сайту
✓ Ограничены глубина, размер ответа и время запроса
✓ Задание можно отменить в личном кабинете
✓ При достижении лимита уже собранные страницы анализируются
SEO Score при достаточном покрытии, 5 критических проблем и сводки
Стандарт
до 2 000
сайт услуг и небольшой магазин
Pro
до 20 000
интернет-магазин и регулярная SEO-работа
Агентство
до 100 000
крупные проекты и поток клиентских аудитов
Практическое руководство
Как просканировать сайт SEO-краулером онлайн
Автоматический SEO-краулер нужен, когда необходимо получить фактическую карту сайта, а не оценивать несколько страниц вручную. Он начинает с главной, адресов из robots.txt и sitemap.xml, затем последовательно переходит по внутренним ссылкам. Для каждого URL фиксируются код ответа, индексируемость, Title, Description, H1, canonical, входящие и исходящие ссылки, изображения, микроразметка и технические ресурсы.
В SEOскопе обход выполняется на сервере. Пользователю не нужно устанавливать SEO spider на компьютер или держать вкладку открытой. После запуска задание остается в очереди, прогресс сохраняется, а для больших сайтов используются контрольные точки. Если worker перезапустится, сканирование продолжится с подтвержденной позиции, а не обязательно с первой страницы.
Схема: от настроек обхода до готового SEO-аудита и полных таблиц URL.
Что проверяет сканер сайта
Направление
Что собирается
Как используется в аудите
Доступность
200, 3xx, 4xx, 5xx, редиректы
Поиск битых страниц, цепочек и серверных сбоев
Индексация
robots.txt, meta robots, canonical, sitemap
Определение закрытых URL, дублей и противоречивых сигналов
On-page SEO
Title, Description, H1-H3, объем текста
Поиск пропусков, дублей и массовых шаблонных проблем
Перелинковка
URL-источник, анкор, целевой адрес
Показывает, на каких страницах стоят ссылки на 404 и редиректы
Ресурсы
Изображения, JavaScript, CSS, размер файлов
Находит тяжелые элементы и резерв для ускорения
Как выбрать режим robots.txt
В строгом режиме краулер не загружает запрещенные страницы. Диагностический режим подходит владельцу сайта, который хочет проверить закрытые URL и подтвердил право на сканирование. В отчете запрет для SEOskopBot отделяется от правил для Googlebot, Yandex и общей группы User-agent: *: закрытие нашего бота само по себе не означает, что сайт исключен из поиска.
Как проверить sitemap и найти 404
SEOскоп читает карты, указанные в robots.txt, и проверяет распространенные адреса: /sitemap.xml, /sitemap_index.xml, /sitemap-index.xml и /wp-sitemap.xml. Если индекс содержит вложенные карты, они обрабатываются в пределах безопасных лимитов. Для каждой битой внутренней ссылки сервис сохраняет не только целевой 404 URL, но и страницу-источник с анкором. При необходимости можно отдельно создать sitemap.xml из списка URL.
Когда лучше загрузить файлы краулера
Автоматический обход удобен для стандартной проверки. Для очень большого сайта, авторизованной зоны, JavaScript-рендеринга или специальных правил можно выполнить сканирование в Screaming Frog и запустить SEO-аудит по XLSX и CSV. SEOскоп распознает охват файлов и не будет выдавать найденное число URL за полный сайт, если независимый знаменатель отсутствует.
Как читать результат
После сканирования откройте предпросмотр, проверьте P1 и P2, отключите спорные пункты и добавьте экспертные наблюдения. На платном тарифе затем скачайте полный DOCX/PDF, краткий отчет только с важными тезисами, ТЗ программисту или пакет с полными URL. Для повторной проверки используйте сравнение SEO-аудитов, чтобы показать исправленные и новые ошибки.
Важно: краулер фиксирует наблюдаемые факты. Итоговые приоритеты зависят от типа сайта, роли страницы, масштаба проблемы и бизнес-цели. Отсутствие внешней аналитики не считается ошибкой сайта.
Ответы об автоматическом краулере
Что делает автоматический SEO-краулер?
Он последовательно обходит внутренние URL сайта, собирает коды ответа, метатеги, заголовки, canonical, ссылки, изображения, микроразметку и другие данные для аудита.
Нужно ли загружать XLSX или CSV?
Нет. В автоматическом режиме достаточно указать домен. Загрузка файлов остается альтернативой для специальных и крупных обходов.
Соблюдает ли краулер robots.txt?
Да. Доступны два режима: диагностический анализ с отметкой закрытых URL и строгий режим, который полностью пропускает запрещенные страницы.
Как используются sitemap?
Краулер читает адреса из robots.txt и проверяет распространенные пути sitemap.xml, sitemap_index.xml, sitemap-index.xml и wp-sitemap.xml. Редиректы внутри домена поддерживаются, а при медленной или поврежденной карте обход продолжается по внутренним ссылкам. Пустая JavaScript-оболочка стартовой страницы дополнительно проверяется в браузере.
Какие лимиты сканирования действуют?
До 100 URL на Бесплатном, 2 000 на Стандарте, 20 000 на Pro и 100 000 на Агентстве за один аудит.
Что будет, если закрыть браузер?
Сканирование продолжится на сервере. Прогресс и результат останутся в разделе «Задания» и истории проекта.
Запустите первый автоматический обход
Бесплатный тариф показывает только preview до 50 HTML-страниц: SEO Score при достаточном покрытии, 5 критических проблем, сводки по скорости, метатегам и индексации, счетчик остальных находок и CTA полного аудита. DOCX/PDF в бесплатный продукт не входят.
