marykovziridze/screaming-frog-mcp

marykovziridze/screaming-frog-mcp

от marykovziridze
MCP сервер для headless краулинга Screaming Frog через Claude: отправляйте URL и получайте экспорт CSV без GUI. Исправлены баги оригинала (зависания, проблемы с GUI, опасное удаление). Инструмент для SEO-автоматизации и встраивания краулинга в пайплайны без ручного запуска.

screaming-frog-mcp

MCP server that lets Claude run Screaming Frog SEO Spider headless crawls, export data, and manage crawl storage — without anyone opening the GUI.

Type a URL into Claude. Screaming Frog runs in the background. You get the data back. That's it.

Forked from bzsasson/screaming-frog-mcp v0.1.0 with bug fixes. The original had issues that made it unusable in practice — pipe deadlocks that hung crawls, false GUI detection that blocked everything after the first run, a delete command that could wipe your entire crawl database. All fixed.


What's fixed

Bug Fix
Pipe deadlock stdout/stderr redirected to log files instead of PIPE. Crawls no longer hang when SF produces large output.
GUI detection Uses psutil instead of ps aux. Works on Mac and Windows. Headless CLI processes no longer get mistaken for the GUI.
Stale crawl cleanup SF leaves a temp crawl.seospider file inside its own app bundle when a crawl gets interrupted. Every crawl after that fails. Now auto-cleaned before each run.
Delete safety delete_crawl(".") used to resolve to the root data directory and wipe everything. Fixed.
Export dir leak Failed exports left temp directories on disk. Now cleaned up.
Input validation Stricter character allowlists for CLI arguments and db_id.
Инструменты были проиндексированы:
crawl_site

Запускает фоновый обход Screaming Frog, сохраняющий результаты во внутреннюю базу данных SF. Аргументы: url: URL для обхода (например, https://example.com) config_file: опциональный путь к файлу .seospiderconfig с настройками обхода (включая лимиты) label: опциональная метка для идентификации этого обхода (например, 'freshgovjobs') Возвращает: crawl_id, который нужно передавать в crawl_status для проверки прогресса. Обход выполняется в фоне - используйте crawl_status, чтобы опрашивать статус. Примечание: чтобы ограничить количество обходимых URL, экспортируйте .seospiderconfig из интерфейса SF с нужным лимитом, а затем передайте его через config_file.

Параметры
  • config_filestring | null
  • labelstring | null
  • urlstringобязательный
crawl_status

Проверяет статус выполняющегося или завершённого обхода. Args: crawl_id: crawl_id, возвращаемый crawl_site

Параметры
  • crawl_idstringобязательный
delete_crawl

Удалить обход из внутренней базы данных Screaming Frog, чтобы освободить место на диске. Аргументы: db_id: Идентификатор базы данных из list_crawls ПРЕДУПРЕЖДЕНИЕ: Это действие безвозвратно удаляет данные обхода. Его нельзя отменить.

Параметры
  • db_idstringобязательный
export_crawl

Загружает сохранённый обход из базы данных SF и экспортирует данные в CSV файлы. Аргументы: db_id: Идентификатор базы данных из list_crawls (например, '1234' или идентификатор обхода). export_tabs: Вкладки экспорта, разделённые запятыми (по умолчанию: Internal:All,Response Codes:All,Page Titles:All,Meta Description:All,H1:All,H2:All,Images:All,Canonicals:All,Directives:All). См. ресурс export-reference для всех вариантов. bulk_export: Необязательные типы массового экспорта (например, 'All Inlinks,All Outlinks'). save_report: Необязательные отчёты для сохранения (например, 'Crawl Overview'). Возвращает: export_id и список сгенерированных CSV файлов. Используйте read_crawl_data для их чтения.

Параметры
  • bulk_exportstring | null
  • db_idstringобязательный
  • export_tabsstring | null
  • save_reportstring | null
list_crawls

Вывести список всех обходов, сохранённых во внутренней базе данных Screaming Frog. Возвращает названия обходов, Database IDs и размеры. Используйте Database ID с export_crawl или delete_crawl.

Параметры

Без параметров.

read_crawl_data

Читает CSV данные из экспорта. Используйте после export_crawl. Аргументы: export_id: export_id из export_crawl file: имя CSV файла для чтения (из списка файлов в выводе export_crawl) limit: максимальное количество строк для возврата (по умолчанию 100) offset: количество строк для пропуска (для пагинации) filter_column: необязательное название колонки для фильтрации filter_value: необязательное значение для поиска в колонке фильтра (регистронезависимое вхождение подстроки) Возвращает: CSV данные в виде форматированного текста с заголовками колонок.

Параметры
  • export_idstringобязательный
  • filestringобязательный
  • filter_columnstring | null
  • filter_valuestring | integer | number | null
  • limitinteger
  • offsetinteger
sf_check

Проверяет, установлен ли Screaming Frog SEO Spider и доступен ли CLI. Возвращает информацию о версии и статусе лицензии.

Параметры

Без параметров.

storage_summary

Показывает использование дискового пространства внутреннего хранилища обхода Screaming Frog. Возвращает общий размер и разбивку по каждому обходу для ProjectInstanceData.

Параметры

Без параметров.

Выберите клиент, чтобы установить marykovziridze/screaming-frog-mcp:

Любой клиент

Конфиг добавления MCP сервера стандартный, обычно он не меняется вообще, поэтому подходит практически к любому ИИ клиенту, поддерживающему MCP.

{
  "mcpServers": {
    "marykovziridze-screaming-frog-mcp-tekxnhqq5l": {
      "command": "uvx",
      "args": [
        "--from",
        "git+https://github.com/marykovziridze/screaming-frog-mcp",
        "screaming-frog-mcp"
      ]
    }
  }
}
CursorCursor

Перейдите по ссылке и сервер автоматически будет добавлен в Cursor. Либо откройте/создайте файл ~/.cursor/mcp.json(%USERPROFILE%\.cursor\mcp.json на Windows) и добавьте конфиг сервера:

{
  "mcpServers": {
    "marykovziridze-screaming-frog-mcp-tekxnhqq5l": {
      "command": "uvx",
      "args": [
        "--from",
        "git+https://github.com/marykovziridze/screaming-frog-mcp",
        "screaming-frog-mcp"
      ]
    }
  }
}
VS Code

Создайте .vscode/mcp.json в проекте (ключ верхнего уровня — servers):

{
  "servers": {
    "marykovziridze-screaming-frog-mcp-tekxnhqq5l": {
      "type": "stdio",
      "command": "uvx",
      "args": [
        "--from",
        "git+https://github.com/marykovziridze/screaming-frog-mcp",
        "screaming-frog-mcp"
      ]
    }
  }
}

Либо добавьте сервер через терминал:

code --add-mcp "{\"name\":\"marykovziridze-screaming-frog-mcp-tekxnhqq5l\",\"type\":\"stdio\",\"command\":\"uvx\",\"args\":[\"--from\",\"git+https://github.com/marykovziridze/screaming-frog-mcp\",\"screaming-frog-mcp\"]}"
ClaudeClaude Desktop

Откройте Settings → Developer → Edit Config — это откроет файл claude_desktop_config.json:

  • macOS: ~/Library/Application Support/Claude/claude_desktop_config.json
  • Windows: %APPDATA%\Claude\claude_desktop_config.json

Впишите сервер и полностью перезапустите Claude Desktop:

{
  "mcpServers": {
    "marykovziridze-screaming-frog-mcp-tekxnhqq5l": {
      "command": "uvx",
      "args": [
        "--from",
        "git+https://github.com/marykovziridze/screaming-frog-mcp",
        "screaming-frog-mcp"
      ]
    }
  }
}
Claude CodeClaude Code

Добавьте сервер одной командой в терминале:

claude mcp add marykovziridze-screaming-frog-mcp-tekxnhqq5l -- uvx --from git+https://github.com/marykovziridze/screaming-frog-mcp screaming-frog-mcp

Либо через JSON-конфиг:

claude mcp add-json marykovziridze-screaming-frog-mcp-tekxnhqq5l "{\"command\":\"uvx\",\"args\":[\"--from\",\"git+https://github.com/marykovziridze/screaming-frog-mcp\",\"screaming-frog-mcp\"]}"
CodexCodex

Добавьте сервер командой в терминале:

codex mcp add marykovziridze-screaming-frog-mcp-tekxnhqq5l -- uvx --from git+https://github.com/marykovziridze/screaming-frog-mcp screaming-frog-mcp

Либо вручную в ~/.codex/config.toml(%USERPROFILE%\.codex\config.toml на Windows):

[mcp_servers.marykovziridze-screaming-frog-mcp-tekxnhqq5l]
command = "uvx"
args = ["--from", "git+https://github.com/marykovziridze/screaming-frog-mcp", "screaming-frog-mcp"]
PerplexityPerplexity

MCP доступен подписчикам Perplexity Pro / Max / Enterprise. Локальные серверы — только в приложении для macOS.

  1. Откройте Настройки аккаунта → Connectors.
  2. Установите вспомогательное приложение PerplexityXPC (один раз).
  3. Нажмите Add Connector → вкладка Simple.
  4. В поле Server Name укажите marykovziridze/screaming-frog-mcp, а в поле команды запуска — строку ниже:
uvx --from git+https://github.com/marykovziridze/screaming-frog-mcp screaming-frog-mcp

Нажмите Save и дождитесь статуса Running.

WindsurfWindsurf

Откройте Windsurf Settings → Cascade → MCP Servers или отредактируйте файл ~/.codeium/windsurf/mcp_config.json:

{
  "mcpServers": {
    "marykovziridze-screaming-frog-mcp-tekxnhqq5l": {
      "command": "uvx",
      "args": [
        "--from",
        "git+https://github.com/marykovziridze/screaming-frog-mcp",
        "screaming-frog-mcp"
      ]
    }
  }
}
ClineCline

В панели Cline нажмите иконку MCP Servers → Configure → Configure MCP Servers (или отредактируйте ~/.cline/mcp.json) и добавьте сервер:

{
  "mcpServers": {
    "marykovziridze-screaming-frog-mcp-tekxnhqq5l": {
      "command": "uvx",
      "args": [
        "--from",
        "git+https://github.com/marykovziridze/screaming-frog-mcp",
        "screaming-frog-mcp"
      ],
      "disabled": false,
      "autoApprove": []
    }
  }
}
Continue

Создайте файл в .continue/mcpServers/ (например marykovziridze-screaming-frog-mcp-tekxnhqq5l.yaml) или добавьте блок в config.yaml. MCP работает только в режиме agent:

mcpServers:
  - name: marykovziridze-screaming-frog-mcp-tekxnhqq5l
    command: uvx
    args:
      - "--from"
      - "git+https://github.com/marykovziridze/screaming-frog-mcp"
      - "screaming-frog-mcp"
Zed

Выполните agent: add context server или откройте настройки (zed: open settings file) и добавьте сервер в объект context_servers:

{
  "context_servers": {
    "marykovziridze-screaming-frog-mcp-tekxnhqq5l": {
      "command": "uvx",
      "args": [
        "--from",
        "git+https://github.com/marykovziridze/screaming-frog-mcp",
        "screaming-frog-mcp"
      ]
    }
  }
}

Похожие MCP-сервера

SearchAtlas

SearchAtlas

от search-atlas-group

MCP-сервер SearchAtlas предоставляет 500+ инструментов для SEO-автоматизации, PPC и контент-маркетинга. Совместим с любыми MCP-клиентами (Claude, Cursor, VS Code). Помогает маркетологам выполнять з...

HTML⭐ 2
jae-jae/fetcher-mcp

jae-jae/fetcher-mcp

от jae-jae

Читает любые страницы через headless-браузер с JavaScript, вычищает рекламу и навигацию, отдаёт текст в HTML или Markdown. Загружает несколько URL параллельно.

TypeScript⭐ 1088
acamolese/google-search-console-mcp

acamolese/google-search-console-mcp

от acamolese

MCP-сервер для Google Search Console: подключает данные о производительности, индексации и запросах к ИИ-ассистентам. Полезен SEO-специалистам и разработчикам — генерирует HTML-аудит, проверяет URL...

Python⭐ 9
lionkiii/google-searchconsole-mcp

lionkiii/google-searchconsole-mcp

от lionkiii

Сервер MCP для Google Search Console даёт AI-ассистентам доступ к SEO-аналитике. Проверяйте индексацию URL, находите ключевые слова с высокими показами и низким CTR, сравнивайте периоды. Не требует...

JavaScript⭐ 7
lionkiii/rss-feeds-mcp

lionkiii/rss-feeds-mcp

от lionkiii

MCP сервер для работы с RSS-лентами: помогает AI-ассистентам (Claude, Cursor) получать, фильтровать и искать записи из блогов и новостей. Подходит для мониторинга контента, SEO-исследований и сбора новостей. Не требует API ключей, работает без настройки.

JavaScript⭐ 4
andyliszewski/webcrawl-mcp

andyliszewski/webcrawl-mcp

от andyliszewski

MCP сервер для веб-скрапинга, поиска и обхода сайтов без headless-браузера. Использует бесплатные библиотеки (trafilatura) для извлечения контента, с опциональным Fallback на Firecrawl для JS-тяжёл...

Python⭐ 16
© Каталог MCP, 2026. Все права защищены.
Проект не аффилирован с Anthropic и любыми упомянутыми продуктами.
Все названия и торговые марки принадлежат их владельцам.
Контакты для связи: hi@mcp-katalog.ru

Лука Никитин