Для чего этот сервер?

Этот MCP-сервер даёт ИИ-агентам прямой доступ к вебу без браузера. Он скачивает страницы, ищет по DuckDuckGo, собирает ссылки с одного сайта и обходит несколько страниц. Всё работает на бесплатных локальных библиотеках, а для тяжёлых сайтов можно подключить Firecrawl. В итоге агент получает свежие данные из сети, а не полагается на устаревшие знания.

Что он умеет?

Сервер забирает страницу по URL и вычищает из неё основной контент в markdown с указанием источника, ищет в DuckDuckGo и при желании скрейпит найденное, картографирует сайт, собирая ссылки на его же домены, и обходит их в ширину с ограничением глубины и паузой между запросами. При блокировке ботов повторяет запрос после Retry-After или, если задан ключ, переключается на Firecrawl. Настраиваются user-agent и таймаут запросов.

Каталог MCP
andyliszewski/webcrawl-mcp

andyliszewski/webcrawl-mcp

от andyliszewski

MCP сервер для веб-скрапинга, поиска и обхода сайтов без headless-браузера. Использует бесплатные библиотеки (trafilatura) для извлечения контента, с опциональным Fallback на Firecrawl для JS-тяжёл...

Github PyPi Сайт сервера

README

4 инструмента

Версии

Установить сервер

webcrawl-mcp

A lightweight MCP server that gives Claude Code (or any MCP client) the ability to scrape, search, map, and crawl the web — using free, open-source libraries. Firecrawl is supported as an optional fallback for JS-heavy sites when you have a key.

Why

Most scraping doesn't actually need a headless browser. trafilatura handles the ~80% case (articles, docs, blogs) locally, which is faster and keeps external API usage to a minimum. This server routes the easy stuff through local extraction and only falls back to Firecrawl when content quality is genuinely poor.

Tools

Tool	Purpose
`webcrawl_scrape`	Fetch a single URL → `{content, source}` (markdown + provenance)
`webcrawl_search`	DuckDuckGo search (optionally scrape results, each with provenance)
`webcrawl_map`	Discover same-domain URLs from a starting page
`webcrawl_crawl`	BFS crawl multiple pages (each result includes provenance)

The source field on scraped content is one of static_http, static_http_retry, firecrawl_transport_fallback, or firecrawl_quality_fallback — see Fallback behavior.

Часто задаваемые вопросы

Инструменты были проиндексированы: 18.10.2026

webcrawl_crawl

Обходит несколько страниц, начиная с URL. Использует BFS, чтобы найти и загрузить страницы на расстоянии не более max_depth ссылок. Соблюдает ограничение частоты запросов.

Параметры

include_patternsstring[] | null
Glob-паттерны для URL, которые нужно включить (например, ["/docs/"])
max_depthinteger
Максимальная глубина ссылок от начала (по умолчанию: 2)
max_pagesinteger
Максимальное количество страниц для загрузки (по умолчанию: 10)
urlstringобязательный
Начальный URL

webcrawl_map

Находит URL-адреса на сайте. Загружает указанный URL и извлекает все ссылки того же домена.

Параметры

limitinteger
Максимальное количество возвращаемых URL-адресов (по умолчанию: 50)
urlstringобязательный
Стартовый URL, с которого начинается сопоставление.

webcrawl_scrape

Загружает URL и извлекает основное содержимое в формате Markdown.

Параметры

timeoutinteger
Тайм-аут запроса в секундах (по умолчанию: 30)
urlstringобязательный
URL для парсинга

webcrawl_search

Ищет в интернете с помощью DuckDuckGo.

Параметры

num_resultsinteger
Максимальное количество возвращаемых результатов (по умолчанию: 10).
querystringобязательный
Строка поискового запроса
scrape_resultsboolean
Если true, для каждого результата извлекается полное содержимое страницы (по умолчанию: false).

0.1.0основная

17.04.2026

Выберите клиент, чтобы установить andyliszewski/webcrawl-mcp:

Любой клиент

Конфиг добавления MCP сервера стандартный, обычно он не меняется вообще, поэтому подходит практически к любому ИИ клиенту, поддерживающему MCP.

{
  "mcpServers": {
    "andyliszewski-webcrawl-mcp-95pgm0eg3f": {
      "command": "uvx",
      "args": [
        "webcrawl-mcp"
      ]
    }
  }
}

Cursor

Перейдите по ссылке и сервер автоматически будет добавлен в Cursor. Либо откройте/создайте файл ~/.cursor/mcp.json(%USERPROFILE%\.cursor\mcp.json на Windows) и добавьте конфиг сервера:

{
  "mcpServers": {
    "andyliszewski-webcrawl-mcp-95pgm0eg3f": {
      "command": "uvx",
      "args": [
        "webcrawl-mcp"
      ]
    }
  }
}

VS Code

Создайте .vscode/mcp.json в проекте (ключ верхнего уровня — servers):

{
  "servers": {
    "andyliszewski-webcrawl-mcp-95pgm0eg3f": {
      "type": "stdio",
      "command": "uvx",
      "args": [
        "webcrawl-mcp"
      ]
    }
  }
}

Либо добавьте сервер через терминал:

code --add-mcp "{\"name\":\"andyliszewski-webcrawl-mcp-95pgm0eg3f\",\"type\":\"stdio\",\"command\":\"uvx\",\"args\":[\"webcrawl-mcp\"]}"

Claude Desktop

Откройте Settings → Developer → Edit Config — это откроет файл claude_desktop_config.json:

macOS: ~/Library/Application Support/Claude/claude_desktop_config.json
Windows: %APPDATA%\Claude\claude_desktop_config.json

Впишите сервер и полностью перезапустите Claude Desktop:

{
  "mcpServers": {
    "andyliszewski-webcrawl-mcp-95pgm0eg3f": {
      "command": "uvx",
      "args": [
        "webcrawl-mcp"
      ]
    }
  }
}

Claude Code

Добавьте сервер одной командой в терминале:

claude mcp add andyliszewski-webcrawl-mcp-95pgm0eg3f -- uvx webcrawl-mcp

Либо через JSON-конфиг:

claude mcp add-json andyliszewski-webcrawl-mcp-95pgm0eg3f "{\"command\":\"uvx\",\"args\":[\"webcrawl-mcp\"]}"

Codex

Добавьте сервер командой в терминале:

codex mcp add andyliszewski-webcrawl-mcp-95pgm0eg3f -- uvx webcrawl-mcp

Либо вручную в ~/.codex/config.toml(%USERPROFILE%\.codex\config.toml на Windows):

[mcp_servers.andyliszewski-webcrawl-mcp-95pgm0eg3f]
command = "uvx"
args = ["webcrawl-mcp"]

Perplexity

MCP доступен подписчикам Perplexity Pro / Max / Enterprise. Локальные серверы — только в приложении для macOS.

Откройте Настройки аккаунта → Connectors.
Установите вспомогательное приложение PerplexityXPC (один раз).
Нажмите Add Connector → вкладка Simple.
В поле Server Name укажите andyliszewski/webcrawl-mcp, а в поле команды запуска — строку ниже:

uvx webcrawl-mcp

Нажмите Save и дождитесь статуса Running.

Windsurf

Откройте Windsurf Settings → Cascade → MCP Servers или отредактируйте файл ~/.codeium/windsurf/mcp_config.json:

{
  "mcpServers": {
    "andyliszewski-webcrawl-mcp-95pgm0eg3f": {
      "command": "uvx",
      "args": [
        "webcrawl-mcp"
      ]
    }
  }
}

Cline

В панели Cline нажмите иконку MCP Servers → Configure → Configure MCP Servers (или отредактируйте ~/.cline/mcp.json) и добавьте сервер:

{
  "mcpServers": {
    "andyliszewski-webcrawl-mcp-95pgm0eg3f": {
      "command": "uvx",
      "args": [
        "webcrawl-mcp"
      ],
      "disabled": false,
      "autoApprove": []
    }
  }
}

Continue

Создайте файл в .continue/mcpServers/ (например andyliszewski-webcrawl-mcp-95pgm0eg3f.yaml) или добавьте блок в config.yaml. MCP работает только в режиме agent:

mcpServers:
  - name: andyliszewski-webcrawl-mcp-95pgm0eg3f
    command: uvx
    args:
      - "webcrawl-mcp"

Zed

Выполните agent: add context server или откройте настройки (zed: open settings file) и добавьте сервер в объект context_servers:

{
  "context_servers": {
    "andyliszewski-webcrawl-mcp-95pgm0eg3f": {
      "command": "uvx",
      "args": [
        "webcrawl-mcp"
      ]
    }
  }
}

Конфиг для установки сервера

{
  "command": "uvx",
  "args": [
    "webcrawl-mcp"
  ]
}

Нужен uvx

Сервер запускается через uvx
Без него ничего работать не будет.

Как установить uvx

Информация о сервере

Номер в рейтинге: #196
Звезд на Github: 16
Форков на Github: 2
Загрузок: 12 070
Язык реализации: Python
Лицензия: MIT
Официальный сервер: Нет
Дата обновления данных: 19.10 в 11:15
Идентификатор: K48AtPHfI4uxxoY3
Категории: Веб-скрапинг

andyliszewski/webcrawl-mcp

webcrawl-mcp

Why

Tools

Часто задаваемые вопросы

Похожие MCP-сервера

olostep/olostep-mcp-server

jae-jae/fetcher-mcp

scraperapi/scraperapi-mcp

ofershap/mcp-server-scraper

oxylabs/oxylabs-mcp

n24q02m/wet-mcp