yubinkim444/ai-first-scraper-mcp

yubinkim444/ai-first-scraper-mcp

от yubinkim444
Этот MCP сервер даёт AI-агентам три инструмента: загрузку страницы в Markdown, пакетную загрузку до 25 URL, веб-поиск с авто-преобразованием результатов. Избавляет от сырого HTML и рекламы, для Claude, Cursor, Cline.

ai-first-scraper-mcp

Plug Claude Desktop, Cursor, or Cline straight into an ad-free web scraper + search engine. Three tools, one line of config.

PyPI Python MCP License: MIT


What it does

Adds three tools to any MCP-compatible agent:

Tool What it does
fetch_page Fetch one URL → return clean Markdown (HTML or PDF).
fetch_pages_batch Fetch up to 25 URLs in parallel → return Markdown for each.
search_web Run a web search and return the top-k result pages already converted to Markdown.

No more "the model called curl and then tried to parse 80kB of ad HTML." Your agent receives clean Markdown ready to reason about.

Backed by the ai-first-scraper and ai-first-search APIs.


Install

Fastest — uvx (no install, runs from PyPI on demand)
// claude_desktop_config.json  /  cline_mcp_settings.json  /  ~/.cursor/mcp.json
{
  "mcpServers": {
    "ai-first-scraper": {
      "command": "uvx",
      "args": ["ai-first-scraper-mcp"]
    }
  }
}

Restart your client (Claude Desktop / Cursor / Cline). The three tools above will appear automatically.

Инструменты были проиндексированы:
fetch_page

Загружает одну веб-страницу или PDF-документ и возвращает её основное содержимое в виде чистого Markdown без рекламы - готовый для вставки в промпт LLM. Аргументы: url: Полностью указанный http(s) URL. max_tokens: Необязательное мягкое ограничение на объём возвращаемого Markdown (токены пробелов). При превышении тело обрезается, и добавляется маркер [...truncated]. Возвращает: Очищенное тело страницы в Markdown.

Параметры
  • max_tokensinteger | null
  • urlstringобязательный
fetch_pages_batch

Загружает множество веб-страниц параллельно и возвращает чистый Markdown каждой из них. Используйте его всякий раз, когда нужно прочитать больше одного URL за раз: это намного быстрее, чем вызывать fetch_page в цикле, потому что внешний скрапер управляет конкурентностью. Аргументы: urls: до 25 URL. max_tokens: необязательный мягкий лимит на возвращаемый Markdown для каждого URL. Возвращаемое значение: Список объектов {url, ok, data?, error?} в том же порядке, что и входные URL. При успехе data содержит {title, word_count, markdown, links, ...}; в противном случае error содержит причину ошибки.

Параметры
  • max_tokensinteger | null
  • urlsstring[]обязательный
search_web

Выполняет веб-поиск и возвращает первые k страниц результатов, уже преобразованные в чистый Markdown. Используйте этот инструмент, когда вам нужна свежая информация из публичного веба: он объединяет поиск и чтение в одном вызове. Аргументы: q: Запрос пользователя (произвольный текст). k: Сколько результатов получить (1–10, по умолчанию 5). max_tokens: Необязательное мягкое ограничение на число токенов в возвращаемом Markdown на один результат. Возвращает: Список объектов результата вида {url, title, snippet, ok, markdown, word_count, error?}. Используйте title и snippet, чтобы решить, какие результаты стоит цитировать, затем поместите поле markdown в ваш промпт.

Параметры
  • kinteger
  • max_tokensinteger | null
  • qstringобязательный

Похожие MCP-сервера

zcaceres/fetch-mcp

zcaceres/fetch-mcp

MCP сервер для загрузки веб-контента и преобразования его в HTML, Markdown, JSON, читаемый текст или транскрипты YouTube. Полезен разработчикам для извлечения статей, данных и субтитров без лишнего...

TypeScript823
Crawleo/Crawleo-MCP

Crawleo/Crawleo-MCP

Crawleo MCP-сервер даёт AI-ассистентам веб-поиск и краулинг в реальном времени: извлекайте данные с любых URL, выбирайте формат (HTML, Markdown, текст), настраивайте страну и устройство. Без хранен...

JavaScript11
lyrenth/lyrenth-mcp

lyrenth/lyrenth-mcp

MCP сервер Lyrenth для чтения веб-страниц: превращает HTML в Markdown (AIDocument), экономя токены. Полезен AI-агентам для получения чистого контента без навигации. Поддерживает пакетные запросы до 20 URL и кэширование.

TypeScript1
Exa MCP Server

Exa MCP Server

официальный

Exa MCP Server даёт AI-ассистентам доступ к веб-поиску, поиску кода и исследованию компаний через Exa. Сервер легко интегрируется в Cursor, VS Code и Claude, предоставляя готовые инструменты для разработчиков. Просто подключите API-ключ и получите актуальные данные.

TypeScript4990
kagisearch/kagimcp

kagisearch/kagimcp

MCP-сервер для поиска и извлечения контента через Kagi API. Поддерживает веб, новости, видео, подкасты, изображения и выгрузку страниц в Markdown. Полезен разработчикам MCP-клиентов.

Python509
Ihor-Sokoliuk/MCP-SearXNG

Ihor-Sokoliuk/MCP-SearXNG

MCP сервер для приватного веб-поиска, подключающий любой SearXNG к AI-ассистентам. Поддерживает поиск с пагинацией, чтение URL, кеширование, фильтры времени и языка — всё без API-ключей и с сохране...

TypeScript1218
© Каталог MCP, 2026. Все права защищены.
Проект не аффилирован с Anthropic и любыми упомянутыми продуктами.
Все названия и торговые марки принадлежат их владельцам.
Контакты для связи: hi@mcp-katalog.ru

Лука Никитин