# Протокол сравнения SEO-краулеров

Шаблон нужен, чтобы сравнивать инструменты на одинаковых условиях. Количество найденных URL само по себе не определяет качество обхода: расхождения могут объясняться областью сканирования, JavaScript, robots.txt, каноникалами, редиректами и лимитами.

## Паспорт эксперимента

- Проект и домен:
- Дата и время старта:
- Инструмент A и версия:
- Инструмент B и версия:
- Лицензия/тариф:
- Исполнитель:

## Единые условия

| Параметр | Инструмент A | Инструмент B | Совпадает? | Комментарий |
|---|---|---|---|---|
| Стартовый URL или список URL |  |  |  |  |
| User-Agent |  |  |  |  |
| Учёт robots.txt |  |  |  |  |
| Рендеринг JavaScript |  |  |  |  |
| Поддомены |  |  |  |  |
| Внешние URL |  |  |  |  |
| Параметры URL |  |  |  |  |
| Canonical/noindex |  |  |  |  |
| Максимальная глубина |  |  |  |  |
| Лимит URL и скорость |  |  |  |  |
| Аутентификация |  |  |  |  |
| Sitemap как источник |  |  |  |  |

## Результаты

| Метрика | Инструмент A | Инструмент B | Разница | Объяснение проверено? |
|---|---:|---:|---:|---|
| Уникальные HTML URL |  |  |  |  |
| Успешные 2xx |  |  |  |  |
| Редиректы 3xx |  |  |  |  |
| Ошибки 4xx/5xx |  |  |  |  |
| Indexable |  |  |  |  |
| Noindex |  |  |  |  |
| URL только в sitemap |  |  |  |  |
| URL только во внутренних ссылках |  |  |  |  |
| Время обхода |  |  |  |  |

## Разбор множеств URL

- URL, найденные обоими инструментами:
- URL только инструмента A:
- URL только инструмента B:
- Известные URL, не найденные ни одним инструментом:
- Причина каждого существенного расхождения:

## Контрольный список вывода

- [ ] Настройки и версии сохранены вместе с результатами.
- [ ] URL нормализованы одинаково: регистр, завершающий слеш, параметры и фрагменты.
- [ ] Из сравнения исключены повторы и не-HTML ресурсы, если задача касается HTML.
- [ ] Проверена выборка URL из каждого расхождения, а не только итоговые числа.
- [ ] Ограничения тарифа или среды отмечены отдельно.
- [ ] Вывод привязан к конкретному сценарию: разовый аудит, регулярный мониторинг, JavaScript-сайт или закрытый стенд.
- [ ] Перед рабочим запуском подтверждены текущие возможности и лимиты каждого продукта.

Протокол не доказывает универсальное превосходство инструмента. Он фиксирует воспроизводимый результат для конкретного сайта, настроек и даты.