Каталог MCP
andyliszewski
andyliszewski/webcrawl-mcp

andyliszewski/webcrawl-mcp

MCP сервер для веб-скрапинга, поиска и обхода сайтов без headless-браузера. Использует бесплатные библиотеки (trafilatura) для извлечения контента, с опциональным Fallback на Firecrawl для JS-тяжёл...

README

4 инструмента

Установить сервер

webcrawl-mcp

A lightweight MCP server that gives Claude Code (or any MCP client) the ability to scrape, search, map, and crawl the web — using free, open-source libraries. Firecrawl is supported as an optional fallback for JS-heavy sites when you have a key.

Why

Most scraping doesn't actually need a headless browser. trafilatura handles the ~80% case (articles, docs, blogs) locally, which is faster and keeps external API usage to a minimum. This server routes the easy stuff through local extraction and only falls back to Firecrawl when content quality is genuinely poor.

Tools

Tool	Purpose
`webcrawl_scrape`	Fetch a single URL → `{content, source}` (markdown + provenance)
`webcrawl_search`	DuckDuckGo search (optionally scrape results, each with provenance)
`webcrawl_map`	Discover same-domain URLs from a starting page
`webcrawl_crawl`	BFS crawl multiple pages (each result includes provenance)

The source field on scraped content is one of static_http, static_http_retry, firecrawl_transport_fallback, or firecrawl_quality_fallback — see Fallback behavior.

webcrawl_crawl

Обходит несколько страниц, начиная с URL. Использует BFS, чтобы найти и загрузить страницы на расстоянии не более max_depth ссылок. Соблюдает ограничение частоты запросов.

Параметры

urlstringобязательный
Starting URL
max_pagesinteger
Maximum number of pages to fetch (default: 10)
max_depthinteger
Maximum link depth from start (default: 2)
include_patternsany
Glob patterns for URLs to include (e.g., ["*/docs/*"])

webcrawl_map

Находит URL-адреса на сайте. Загружает указанный URL и извлекает все ссылки того же домена.

Параметры

urlstringобязательный
Starting URL to map from
limitinteger
Maximum number of URLs to return (default: 50)

webcrawl_scrape

Загружает URL и извлекает основное содержимое в формате Markdown.

Параметры

urlstringобязательный
The URL to scrape
timeoutinteger
Request timeout in seconds (default: 30)

webcrawl_search

Поищите в интернете с помощью DuckDuckGo.

Параметры

querystringобязательный
Search query string
num_resultsinteger
Maximum number of results to return (default: 5)
scrape_resultsboolean
If true, fetch full page content for each result (default: false)

Github Сайт сервера

Конфиг для установки сервера

{
  "command": "uvx",
  "args": [
    "webcrawl-mcp"
  ]
}

Также andyliszewski/webcrawl-mcp можно установить в Cursor по ссылке автоматически.

FAQ

Для чего этот сервер?

Этот MCP-сервер даёт ИИ-агентам прямой доступ к вебу без браузера. Он скачивает страницы, ищет по DuckDuckGo, собирает ссылки с одного сайта и обходит несколько страниц. Всё работает на бесплатных локальных библиотеках, а для тяжёлых сайтов можно подключить Firecrawl. В итоге агент получает свежие данные из сети, а не полагается на устаревшие знания.

Что он умеет?

Сервер извлекает содержимое одной или нескольких страниц в формате markdown, ищет в DuckDuckGo и при желании сразу парсит результаты, находит все ссылки в пределах одного домена с указанной страницы, а также обходит сайт в ширину, собирая страницы до заданной глубины, при этом соблюдает вежливый интервал между запросами и использует умные механизмы повторных попыток и fallback на Firecrawl при блокировках или низком качестве извлечения.

Информация о сервере

Номер в рейтинге: #184
Звезд на Github: 13
Форков на Github: 2
Язык реализации: Python
Лицензия: MIT
Официальный сервер: Нет
Дата обновления данных: 17.07 в 00:31
Идентификатор: K48AtPHfI4uxxoY3
Категории: Веб-скрапинг, Инструменты для разработчиков, Исследования и данные, Поиск

Другие проверенные MCP-сервера

designcomputer/mysql_mcp_server

MCP инструмент для безопасной работы AI-агентов с MySQL. Выполняет SQL-запросы, возвращает схему таблиц и выборки данных. Помогает разработчикам и аналитикам контролировать доступ, избегая SQL-инъекций и используя SSL/TLS.

Google MCP

официальный

Сборник MCP серверов от Google для интеграции сервисов Google Cloud (BigQuery, Cloud SQL и др.) с AI-агентами. Включает удаленные и open-source серверы для развертывания. Полезен разработчикам агентных систем.

pinecone-io/assistant-mcp

официальный

MCP-сервер на Rust для получения данных от Pinecone Assistant. Укажите API-ключ и лимит результатов. Интеграция с ИИ-инструментами через Docker. Для разработчиков поисковых ассистентов.

mediar-ai/screenpipe

Screenpipe - MCP сервер для локального ИИ, запоминающего всё на экране и в аудио. Записывает и распознаёт текст и речь. Ищите виденное и слышанное естественным языком. Плагины (Pipes) автоматизируют действия на основе активности. Полная приватность.

alchemy/alchemy-mcp-server

официальный

MCP-сервер для AI-агентов, работающий с блокчейн-данными Alchemy. Позволяет запрашивать цены токенов, NFT, историю транзакций и балансы на нескольких сетях, а также отправлять транзакции и выполнят...

GreptimeTeam/greptimedb-mcp-server

официальный

GreptimeDB MCP-сервер для AI-ассистентов - выполняет SQL, TQL и RANGE-запросы к open-source базе наблюдаемости, объединяющей метрики, логи и трейсы. Встроенная безопасность: read-only, маскировка д...