Парсинг доменов через Xenu и Screaming Frog: пошаговая выгрузка
Дата публикации: 11.06.2026

Парсинг доменов через Xenu и Screaming Frog: пошаговая выгрузка

Хочу себе такие же кнопки

Парсинг доменов через Xenu и Screaming Frog: пошаговая выгрузка

Что вы получите уже

  • Быстрое выявление всех страниц сайта, даже тех, что скрыты от поисковых роботов.
  • Экспорт списка URL‑ов в CSV/Excel для дальнейшего анализа и импорта в SEO‑инструменты.
  • Понимание различий между Xenu и Screaming Frog, чтобы выбрать оптимальный набор для ваших задач (например, покупка «битых» доменов и их последующее наполнение ссылками).

Совет: если вы уже знакомы с базовыми понятиями SEO, то воспринимайте эту инструкцию как «шаблон», который можно адаптировать под любой проект без изменения логики.

1. Подготовка к работе

Шаг Действие Почему это важно
1 Установите Xenu (Windows) и Screaming Frog SEO Spider (кроссплатформенный). Оба инструмента сканируют сайт, но у каждого свои сильные стороны.
2 Отключите VPN/прокси, если они ограничивают запросы к целевому домену. Сканер будет получать корректный HTTP‑ответ от сервера.
3 Создайте отдельную папку, например C:\SEO\Парсинг, где будете хранить файлы выгрузки. Упрощает поиск и дальнейшую автоматизацию.

Примечание: Xenu работает только в Windows, но его можно запускать в Wine на Linux/macOS. Screaming Frog имеет бесплатную версию с лимитом в 500 URL‑ов; для больших проектов понадобится лицензия.

2. Сканирование с Xenu

2.1 Запуск и базовые настройки

  1. Откройте Xenu Link Sleuth → File → Check URL…
  2. В поле URL to check введите корневой адрес домена, например http://example.com.
  3. Нажмите Options → Settings и проверьте следующие параметры:
Параметр Рекомендация Комментарий
Maximum URL length 2048 Длинные ссылки иногда обрезаются, оставляем запас.
Include external links Unchecked Мы хотим собрать только внутренние страницы.
Ignore URL parameters Checked Убирает дублирование вида ?utm_source=....
Timeout 30 сек Достаточно для большинства серверов.
  1. Нажмите OK, затем Start.

2.2 Ожидание и мониторинг

  • Xenu будет последовательно запрашивать каждую найденную страницу.
  • В правой колонке отображается Status (200, 301, 404 и т.д.).
  • Если видите много 404, это уже сигнал о «битых» доменах, которые можно выкупать.

2.3 Выгрузка результатов

  1. После завершения сканирования выберите File → Export URLs…
  2. Сохраните файл в формате CSV (например, example_xenu.csv).
  3. Откройте CSV в Excel/Google Sheets и удалите столбцы, которые вам не нужны (например, Size, Modified).

Трюк: добавьте в конец имени файла текущую дату (example_xenu_2026-06-11.csv), чтобы легче отслеживать версии.

3. Сканирование с Screaming Frog

3.1 Первичная конфигурация

  1. Запустите Screaming Frog SEO Spider.
  2. В поле Enter URL to spider введите тот же домен.
  3. Нажмите Configuration → Spider и установите:
Параметр Значение Почему
Crawl Depth 0 (неограничено) Чтобы охватить все уровни вложенности.
Follow External Links Unchecked Фокус только на внутренние URL‑ы.
Ignore Robots.txt Unchecked (по умолчанию) Уважать правила сайта, чтобы не попасть в блокировку.
Include Sub‑domains Checked (если нужны) Иногда полезно собрать ссылки с blog.example.com.
  1. Нажмите OK и стартуйте сканирование кнопкой Start.

3.2 Отслеживание прогресса

  • В верхнем левом углу отображается Pages Crawled и Found.
  • Если процесс «зависает», проверьте Speed → Throttle (уменьшите скорость запросов до 1 req/s).

3.3 Фильтрация и экспорт

  1. После завершения откройте вкладку Internal → HTML (по умолчанию).
  2. В строке поиска введите status:200 → оставить только рабочие страницы.
  3. Нажмите Export → CSV → выберите путь C:\SEO\Парсинг\example_sf.csv.

Полезно: в CSV автоматически сохраняются такие столбцы, как Inlinks, Outlinks, Word Count – они могут пригодиться при дальнейшем анализе «потенциала» домена.

4. Сравнение Xenu и Screaming Frog

Фактор Xenu Screaming Frog
Скорость Очень высокая (один поток), но ограничена Windows‑API. Параллельные запросы (по‑умолчанию 10), быстрее на больших сайтах.
Гибкость фильтрации Ограничена базовыми настройками. Мощные фильтры по статусу, типу контента, мета‑тегам.
Экспорт CSV без вложенных данных (только URL, статус). CSV/Excel с множеством метрик (внутренние ссылки, заголовки, коды ответа).
Стоимость Бесплатно. Бесплатно до 500 URL‑ов, далее лицензия.
Поддержка OS Только Windows (или Wine). Windows, macOS, Linux.

Вывод: для небольших проектов и быстрой проверки «битых» доменов Xenu – идеальный «сканер‑молоток». Для детального аудита и последующего построения ссылочного профиля лучше использовать Screaming Frog.

5. Практика для закрепления

  1. Сканируйте любой сайт (например, https://example.org) с помощью Xenu и сохраните CSV. Сколько страниц с кодом 404 вы нашли?
  2. Повторите сканирование тем же доменом в Screaming Frog, экспортируйте CSV и сравните количество найденных 200‑страниц с результатами Xenu. Что изменилось и почему?
  3. Откройте оба CSV‑файла в Excel и соедините их по колонке URL (используйте VLOOKUP или Power Query). Составьте таблицу, где указаны: URL, статус Xenu, статус Screaming Frog, количество входящих ссылок (Inlinks). Какие страницы получили разные статусы? Почему?
  4. Сделайте фильтрацию: оставьте только URL‑ы с Inlinks > 5 и status = 200 в Screaming Frog. Сколько таких «ценных» страниц? Как их можно использовать при построении PBN‑эффекта?
  5. Автоматизируйте процесс: напишите простой батч‑скрипт (Windows) или Bash‑скрипт (Linux/macOS), который запускает Xenu, сохраняет CSV с датой и перемещает его в папку Archive. Приведите пример кода.

6. Заключительные рекомендации

  • Регулярность: сканируйте домен минимум раз в месяц, чтобы фиксировать появление новых 404 и быстро реагировать.
  • Комбинация: используйте Xenu для «быстрой проверки» и Screaming Frog для «глубокого аудита».
  • Бэкап: храните все CSV‑файлы в облаке (Google Drive, Dropbox) с указанием даты, чтобы иметь историю изменений.

Помните: качественный парсинг – фундамент любого успешного PBN‑проекта. Чем точнее список страниц, тем легче будет подобрать «битый» домен, выкупить его и заполнить ссылками, которые действительно работают на ваш основной ресурс.

Готово! Теперь вы умеете быстро собирать и экспортировать список URL‑ов из любого сайта, используя как лёгкий Xenu, так и мощный Screaming Frog. Применяйте полученные данные в стратегии покупки и наполнения доменов, и ваш PBN‑эффект будет расти экспоненциально.


БЕСПЛАТНЫЙ КУРС: «ЦИФРОВОЙ СЕЙФ: БЫСТРОЙ БЭКАП»
Чат онлайн с возможностью отправки гифок
ИП или ООО: какая форма выгоднее для стартапа в Москве
Как использовать SAPE для защиты данных
Китайский производитель трубной арматуры
Микросервисы: как рисовать стрелки с подписями
Онлайн рулетка с поддержкой мобильных устройств
Онлайн встреча Екатеринбург
Оптимизация Битрикс на VDSina: бесплатный материал
Ошибки и их исправление при использовании SAPE
Основы и терминология LA SAPE: что это и как начать
Основы SAPE: что это и как работает
Партнёрская программа без блога: эффективные методы трафика из Telegram
Подготовка к ОГЭ: контрольные материалы
Погружение в английский без субтитров: 5 минут в день — эффективно
Путешествуйте самостоятельно: все, что нужно знать
Россия онлайн видеочат
Рулетка общения
Сбои AutoCAD при старте - быстрая диагностика