Каталог MCP
marykovziridze
marykovziridze/screaming-frog-mcp

marykovziridze/screaming-frog-mcp

Name: marykovziridze/screaming-frog-mcp
Availability: InStock
Author: marykovziridze

MCP сервер для headless краулинга Screaming Frog через Claude: отправляйте URL и получайте экспорт CSV без GUI. Исправлены баги оригинала (зависания, проблемы с GUI, опасное удаление). Инструмент для SEO-автоматизации и встраивания краулинга в пайплайны без ручного запуска.

README

8 инструментов

Установить сервер

screaming-frog-mcp

MCP server that lets Claude run Screaming Frog SEO Spider headless crawls, export data, and manage crawl storage — without anyone opening the GUI.

Type a URL into Claude. Screaming Frog runs in the background. You get the data back. That's it.

Forked from bzsasson/screaming-frog-mcp v0.1.0 with bug fixes. The original had issues that made it unusable in practice — pipe deadlocks that hung crawls, false GUI detection that blocked everything after the first run, a delete command that could wipe your entire crawl database. All fixed.

What's fixed

Bug	Fix
Pipe deadlock	stdout/stderr redirected to log files instead of PIPE. Crawls no longer hang when SF produces large output.
GUI detection	Uses `psutil` instead of `ps aux`. Works on Mac and Windows. Headless CLI processes no longer get mistaken for the GUI.
Stale crawl cleanup	SF leaves a temp `crawl.seospider` file inside its own app bundle when a crawl gets interrupted. Every crawl after that fails. Now auto-cleaned before each run.
Delete safety	`delete_crawl(".")` used to resolve to the root data directory and wipe everything. Fixed.
Export dir leak	Failed exports left temp directories on disk. Now cleaned up.
Input validation	Stricter character allowlists for CLI arguments and db_id.

crawl_site

Запускает фоновый обход Screaming Frog, сохраняющий результаты во внутреннюю базу данных SF. Аргументы: url: URL для обхода (например, https://example.com) config_file: опциональный путь к файлу .seospiderconfig с настройками обхода (включая лимиты) label: опциональная метка для идентификации этого обхода (например, 'freshgovjobs') Возвращает: crawl_id, который нужно передавать в crawl_status для проверки прогресса. Обход выполняется в фоне - используйте crawl_status, чтобы опрашивать статус. Примечание: чтобы ограничить количество обходимых URL, экспортируйте .seospiderconfig из интерфейса SF с нужным лимитом, а затем передайте его через config_file.

Параметры

urlstringобязательный
config_fileany
labelany

crawl_status

Проверьте статус запущенного или завершённого обхода. Аргументы: crawl_id: идентификатор обхода, возвращённый функцией crawl_site

Параметры

crawl_idstringобязательный

delete_crawl

Удалить обход из внутренней базы данных Screaming Frog, чтобы освободить место на диске. Аргументы: db_id: Идентификатор базы данных из list_crawls ПРЕДУПРЕЖДЕНИЕ: Это действие безвозвратно удаляет данные обхода. Его нельзя отменить.

Параметры

db_idstringобязательный

export_crawl

Загружает сохранённый обход из базы данных SF и экспортирует данные в CSV файлы. Аргументы: db_id: Идентификатор базы данных из list_crawls (например, '1234' или идентификатор обхода). export_tabs: Вкладки экспорта, разделённые запятыми (по умолчанию: Internal:All,Response Codes:All,Page Titles:All,Meta Description:All,H1:All,H2:All,Images:All,Canonicals:All,Directives:All). См. ресурс export-reference для всех вариантов. bulk_export: Необязательные типы массового экспорта (например, 'All Inlinks,All Outlinks'). save_report: Необязательные отчёты для сохранения (например, 'Crawl Overview'). Возвращает: export_id и список сгенерированных CSV файлов. Используйте read_crawl_data для их чтения.

Параметры

db_idstringобязательный
export_tabsany
bulk_exportany
save_reportany

list_crawls

Вывести список всех обходов, сохранённых во внутренней базе данных Screaming Frog. Возвращает названия обходов, Database IDs и размеры. Используйте Database ID с export_crawl или delete_crawl.

Параметры

Без параметров.

read_crawl_data

Читает CSV данные из экспорта. Используйте после export_crawl. Аргументы: export_id: export_id из export_crawl file: имя CSV файла для чтения (из списка файлов в выводе export_crawl) limit: максимальное количество строк для возврата (по умолчанию 100) offset: количество строк для пропуска (для пагинации) filter_column: необязательное название колонки для фильтрации filter_value: необязательное значение для поиска в колонке фильтра (регистронезависимое вхождение подстроки) Возвращает: CSV данные в виде форматированного текста с заголовками колонок.

Параметры

export_idstringобязательный
filestringобязательный
limitinteger
offsetinteger
filter_columnany
filter_valueany

sf_check

Проверяет, установлен ли Screaming Frog SEO Spider и доступен ли CLI. Возвращает информацию о версии и статусе лицензии.

Параметры

Без параметров.

storage_summary

Показывает использование дискового пространства внутреннего хранилища обхода Screaming Frog. Возвращает общий размер и разбивку по каждому обходу для ProjectInstanceData.

Параметры

Без параметров.

Github Сайт сервера

Конфиг для установки сервера

{
  "command": "uvx",
  "args": [
    "--from",
    "git+https://github.com/marykovziridze/screaming-frog-mcp",
    "screaming-frog-mcp"
  ]
}

Также marykovziridze/screaming-frog-mcp можно установить в Cursor по ссылке автоматически.

Информация о сервере

Номер в рейтинге: #185
Звезд на Github: 2
Форков на Github: 0
Язык реализации: Python
Лицензия: MIT
Официальный сервер: Нет
Дата обновления данных: 19.07 в 09:51
Идентификатор: VLI6QWZE4Kd20SHg
Категории: Автоматизация приложений, Веб-скрапинг, Инструменты для разработчиков, Исследования и данные, Маркетинг, Поиск, Тестирование и QA

Другие проверенные MCP-сервера

chatmcp/mcp-server-chatsum

MCP-сервер для суммаризации чат-сообщений. Позволяет запрашивать и обобщать переписку с помощью инструмента query_chat_messages. Полезен для анализа бесед и быстрого получения выжимки из чатов.

Perplexity MCP

официальный

Официальный MCP-сервер Perplexity: веб-поиск, ответы на вопросы, ресёрч и рассуждения через модели Sonar и Search API.

Google Calendar MCP

Сервер для интеграции Google Календаря с AI-ассистентами через MCP. Управляйте событиями, проверяйте занятость и обнаруживайте пересечения между несколькими календарями и аккаунтами. Поддерживает импорт событий из изображений и ссылок. Помогает автоматизировать планирование и анализ календаря.

AIDC-AI/Pixelle-MCP

официальный

Pixelle — MCP сервер для генерации контента (текст, изображения, звук, видео) через ComfyUI. Поддерживает локальный и облачный режимы, превращает рабочие процессы в MCP инструменты без единой строк...

s2-streamstore/s2-sdk-typescript

официальный

TypeScript SDK для S2 — бессерверного хранилища стримов. Позволяет добавлять и читать данные, использовать сессии для высокопроизводительной записи/чтения с гарантиями порядка. Полезен разработчикам, работающим с потоковыми данными.

datalayer/jupyter-mcp-server

официальный

Подключает AI к Jupyter Notebooks в реальном времени: создание, выполнение и редактирование ячеек, переключение между ноутбуками, вывод графиков. Оптимальное решение для автоматизации работы с данн...