Добавить сервер
yubinkim444/ai-first-scraper-mcp
  1. Каталог MCP
  2. yubinkim444/ai-first-scraper-mcp

yubinkim444/ai-first-scraper-mcp

от yubinkim444
Этот MCP сервер даёт AI-агентам три инструмента: загрузку страницы в Markdown, пакетную загрузку до 25 URL, веб-поиск с авто-преобразованием результатов. Избавляет от сырого HTML и рекламы, для Claude, Cursor, Cline.
GithubPyPiСайт сервера

ai-first-scraper-mcp

Plug Claude Desktop, Cursor, or Cline straight into an ad-free web scraper + search engine. Three tools, one line of config.

PyPI Python MCP License: MIT

What it does

Adds three tools to any MCP-compatible agent:

Tool What it does
fetch_page Fetch one URL → return clean Markdown (HTML or PDF).
fetch_pages_batch Fetch up to 25 URLs in parallel → return Markdown for each.
search_web Run a web search and return the top-k result pages already converted to Markdown.

No more "the model called curl and then tried to parse 80kB of ad HTML." Your agent receives clean Markdown ready to reason about.

Backed by the ai-first-scraper and ai-first-search APIs.

Install

Fastest — uvx (no install, runs from PyPI on demand)
// claude_desktop_config.json  /  cline_mcp_settings.json  /  ~/.cursor/mcp.json
{
  "mcpServers": {
    "ai-first-scraper": {
      "command": "uvx",
      "args": ["ai-first-scraper-mcp"]
    }
  }
}

Restart your client (Claude Desktop / Cursor / Cline). The three tools above will appear automatically.

Инструменты были проиндексированы:
fetch_page

Загружает одну веб-страницу или PDF-документ и возвращает её основное содержимое в виде чистого Markdown без рекламы - готовый для вставки в промпт LLM. Аргументы: url: Полностью указанный http(s) URL. max_tokens: Необязательное мягкое ограничение на объём возвращаемого Markdown (токены пробелов). При превышении тело обрезается, и добавляется маркер [...truncated]. Возвращает: Очищенное тело страницы в Markdown.

Параметры
  • max_tokensinteger | null
  • urlstringобязательный
fetch_pages_batch

Загружает множество веб-страниц параллельно и возвращает чистый Markdown каждой из них. Используйте его всякий раз, когда нужно прочитать больше одного URL за раз: это намного быстрее, чем вызывать fetch_page в цикле, потому что внешний скрапер управляет конкурентностью. Аргументы: urls: до 25 URL. max_tokens: необязательный мягкий лимит на возвращаемый Markdown для каждого URL. Возвращаемое значение: Список объектов {url, ok, data?, error?} в том же порядке, что и входные URL. При успехе data содержит {title, word_count, markdown, links, ...}; в противном случае error содержит причину ошибки.

Параметры
  • max_tokensinteger | null
  • urlsstring[]обязательный
search_web

Выполняет веб-поиск и возвращает первые k страниц результатов, уже преобразованные в чистый Markdown. Используйте этот инструмент, когда вам нужна свежая информация из публичного веба: он объединяет поиск и чтение в одном вызове. Аргументы: q: Запрос пользователя (произвольный текст). k: Сколько результатов получить (1–10, по умолчанию 5). max_tokens: Необязательное мягкое ограничение на число токенов в возвращаемом Markdown на один результат. Возвращает: Список объектов результата вида {url, title, snippet, ok, markdown, word_count, error?}. Используйте title и snippet, чтобы решить, какие результаты стоит цитировать, затем поместите поле markdown в ваш промпт.

Параметры
  • kinteger
  • max_tokensinteger | null
  • qstringобязательный
1.0.2основная
1.0.1
1.0.0

Выберите клиент, чтобы установить yubinkim444/ai-first-scraper-mcp:

Любой клиент

Конфиг добавления MCP сервера стандартный, обычно он не меняется вообще, поэтому подходит практически к любому ИИ клиенту, поддерживающему MCP.

{
  "mcpServers": {
    "yubinkim444-ai-first-scraper-mcp-12o2vy9cck": {
      "command": "uvx",
      "args": [
        "ai-first-scraper-mcp"
      ]
    }
  }
}
CursorCursor

Перейдите по ссылке и сервер автоматически будет добавлен в Cursor. Либо откройте/создайте файл ~/.cursor/mcp.json(%USERPROFILE%\.cursor\mcp.json на Windows) и добавьте конфиг сервера:

{
  "mcpServers": {
    "yubinkim444-ai-first-scraper-mcp-12o2vy9cck": {
      "command": "uvx",
      "args": [
        "ai-first-scraper-mcp"
      ]
    }
  }
}
VS Code

Создайте .vscode/mcp.json в проекте (ключ верхнего уровня — servers):

{
  "servers": {
    "yubinkim444-ai-first-scraper-mcp-12o2vy9cck": {
      "type": "stdio",
      "command": "uvx",
      "args": [
        "ai-first-scraper-mcp"
      ]
    }
  }
}

Либо добавьте сервер через терминал:

code --add-mcp "{\"name\":\"yubinkim444-ai-first-scraper-mcp-12o2vy9cck\",\"type\":\"stdio\",\"command\":\"uvx\",\"args\":[\"ai-first-scraper-mcp\"]}"
ClaudeClaude Desktop

Откройте Settings → Developer → Edit Config — это откроет файл claude_desktop_config.json:

  • macOS: ~/Library/Application Support/Claude/claude_desktop_config.json
  • Windows: %APPDATA%\Claude\claude_desktop_config.json

Впишите сервер и полностью перезапустите Claude Desktop:

{
  "mcpServers": {
    "yubinkim444-ai-first-scraper-mcp-12o2vy9cck": {
      "command": "uvx",
      "args": [
        "ai-first-scraper-mcp"
      ]
    }
  }
}
Claude CodeClaude Code

Добавьте сервер одной командой в терминале:

claude mcp add yubinkim444-ai-first-scraper-mcp-12o2vy9cck -- uvx ai-first-scraper-mcp

Либо через JSON-конфиг:

claude mcp add-json yubinkim444-ai-first-scraper-mcp-12o2vy9cck "{\"command\":\"uvx\",\"args\":[\"ai-first-scraper-mcp\"]}"
CodexCodex

Добавьте сервер командой в терминале:

codex mcp add yubinkim444-ai-first-scraper-mcp-12o2vy9cck -- uvx ai-first-scraper-mcp

Либо вручную в ~/.codex/config.toml(%USERPROFILE%\.codex\config.toml на Windows):

[mcp_servers.yubinkim444-ai-first-scraper-mcp-12o2vy9cck]
command = "uvx"
args = ["ai-first-scraper-mcp"]
PerplexityPerplexity

MCP доступен подписчикам Perplexity Pro / Max / Enterprise. Локальные серверы — только в приложении для macOS.

  1. Откройте Настройки аккаунта → Connectors.
  2. Установите вспомогательное приложение PerplexityXPC (один раз).
  3. Нажмите Add Connector → вкладка Simple.
  4. В поле Server Name укажите yubinkim444/ai-first-scraper-mcp, а в поле команды запуска — строку ниже:
uvx ai-first-scraper-mcp

Нажмите Save и дождитесь статуса Running.

WindsurfWindsurf

Откройте Windsurf Settings → Cascade → MCP Servers или отредактируйте файл ~/.codeium/windsurf/mcp_config.json:

{
  "mcpServers": {
    "yubinkim444-ai-first-scraper-mcp-12o2vy9cck": {
      "command": "uvx",
      "args": [
        "ai-first-scraper-mcp"
      ]
    }
  }
}
ClineCline

В панели Cline нажмите иконку MCP Servers → Configure → Configure MCP Servers (или отредактируйте ~/.cline/mcp.json) и добавьте сервер:

{
  "mcpServers": {
    "yubinkim444-ai-first-scraper-mcp-12o2vy9cck": {
      "command": "uvx",
      "args": [
        "ai-first-scraper-mcp"
      ],
      "disabled": false,
      "autoApprove": []
    }
  }
}
Continue

Создайте файл в .continue/mcpServers/ (например yubinkim444-ai-first-scraper-mcp-12o2vy9cck.yaml) или добавьте блок в config.yaml. MCP работает только в режиме agent:

mcpServers:
  - name: yubinkim444-ai-first-scraper-mcp-12o2vy9cck
    command: uvx
    args:
      - "ai-first-scraper-mcp"
Zed

Выполните agent: add context server или откройте настройки (zed: open settings file) и добавьте сервер в объект context_servers:

{
  "context_servers": {
    "yubinkim444-ai-first-scraper-mcp-12o2vy9cck": {
      "command": "uvx",
      "args": [
        "ai-first-scraper-mcp"
      ]
    }
  }
}

Похожие MCP-сервера

Crawleo/Crawleo-MCP

Crawleo/Crawleo-MCP

от crawleo

Crawleo MCP-сервер даёт AI-ассистентам веб-поиск и краулинг в реальном времени: извлекайте данные с любых URL, выбирайте формат (HTML, Markdown, текст), настраивайте страну и устройство. Без хранен...

JavaScript⭐ 11
zcaceres/fetch-mcp

zcaceres/fetch-mcp

от zcaceres

MCP сервер для загрузки веб-контента и преобразования его в HTML, Markdown, JSON, читаемый текст или транскрипты YouTube. Полезен разработчикам для извлечения статей, данных и субтитров без лишнего...

TypeScript⭐ 828
lyrenth/lyrenth-mcp

lyrenth/lyrenth-mcp

от lyrenth

MCP сервер Lyrenth для чтения веб-страниц: превращает HTML в Markdown (AIDocument), экономя токены. Полезен AI-агентам для получения чистого контента без навигации. Поддерживает пакетные запросы до 20 URL и кэширование.

TypeScript⭐ 1
n24q02m/wet-mcp

n24q02m/wet-mcp

от n24q02m

Открытый MCP-сервер для AI-агентов с веб-поиском, извлечением контента и поиском по документации библиотек. Использует 5 стратегий скрапинга, работает без API-ключей — подходит для автономного сбор...

Python⭐ 19
jae-jae/fetcher-mcp

jae-jae/fetcher-mcp

от jae-jae

Читает любые страницы через headless-браузер с JavaScript, вычищает рекламу и навигацию, отдаёт текст в HTML или Markdown. Загружает несколько URL параллельно.

TypeScript⭐ 1088
overtlids/mcp-searxng-enhanced

overtlids/mcp-searxng-enhanced

от overtlids

MCP-сервер для веб-поиска с поддержкой категорий (изображения, видео, файлы) и извлечения контента сайтов с цитированием. Включает чтение PDF, кэширование и управление временными зонами. Полезен разработчикам, интегрирующим SearXNG в ассистентов и инструменты.

Python⭐ 55
© Каталог MCP, 2026. Все права защищены.
Проект не аффилирован с Anthropic и любыми упомянутыми продуктами.
Все названия и торговые марки принадлежат их владельцам.
Контакты для связи: hi@mcp-katalog.ru

Лука Никитин