crawlbase/crawlbase-mcp

crawlbase/crawlbase-mcp

от crawlbase
Crawlbase MCP инструмент соединяет AI с живым вебом: извлекает HTML, Markdown и скриншоты, обрабатывая JavaScript и защиту от ботов. Идеально для анализа рынка, мониторинга цен и автономных агентов, требующих свежих данных.

What is Crawlbase MCP?

Crawlbase MCP is a Model Context Protocol (MCP) server that bridges AI agents and the live web. Instead of relying on outdated training data, your LLMs can now fetch fresh, structured, real-time content — powered by Crawlbase’s proven crawling infrastructure trusted by 70,000+ developers worldwide.

It handles the complexity of scraping for you:

  • JavaScript rendering for modern web apps
  • Proxy rotation & anti-bot evasion
  • Structured outputs (HTML, Markdown, screenshots)

How It Works

  • Get Free Crawlbase Tokens → Sign up at Crawlbase ↗️, get free Normal, and JavaScript tokens.
  • Set Up MCP Configuration → Configure the MCP server in your preferred client (Claude, Cursor, or Windsurf) by updating the MCP Servers settings.
  • Start Crawling → Use commands like crawl, crawl_markdown, or crawl_screenshot to bring live web data into your AI agent.

Setup & Integration

Claude Desktop
  1. Open Claude Desktop → Settings → Developer → Edit Config
  2. Add to claude_desktop_config.json:
  3. Replace your_token_here and your_js_token_here with the tokens from your dashboard.
У этого сервера пока нет списка инструментов.
1.3.0основная
1.2.0
1.0.4
1.0.3
1.0.2
1.0.1

Выберите клиент, чтобы установить crawlbase/crawlbase-mcp:

Любой клиент

Конфиг добавления MCP сервера стандартный, обычно он не меняется вообще, поэтому подходит практически к любому ИИ клиенту, поддерживающему MCP.

{
  "mcpServers": {
    "crawlbase-crawlbase-mcp-k2cz": {
      "type": "stdio",
      "command": "npx",
      "args": [
        "@crawlbase/mcp@latest"
      ],
      "env": {
        "CRAWLBASE_TOKEN": "your_token_here",
        "CRAWLBASE_JS_TOKEN": "your_js_token_here"
      }
    }
  }
}
CursorCursor

Перейдите по ссылке и сервер автоматически будет добавлен в Cursor. Либо откройте/создайте файл ~/.cursor/mcp.json(%USERPROFILE%\.cursor\mcp.json на Windows) и добавьте конфиг сервера:

{
  "mcpServers": {
    "crawlbase-crawlbase-mcp-k2cz": {
      "type": "stdio",
      "command": "npx",
      "args": [
        "@crawlbase/mcp@latest"
      ],
      "env": {
        "CRAWLBASE_TOKEN": "your_token_here",
        "CRAWLBASE_JS_TOKEN": "your_js_token_here"
      }
    }
  }
}
VS Code

Создайте .vscode/mcp.json в проекте (ключ верхнего уровня — servers):

{
  "servers": {
    "crawlbase-crawlbase-mcp-k2cz": {
      "type": "stdio",
      "command": "npx",
      "args": [
        "@crawlbase/mcp@latest"
      ],
      "env": {
        "CRAWLBASE_TOKEN": "your_token_here",
        "CRAWLBASE_JS_TOKEN": "your_js_token_here"
      }
    }
  }
}

Либо добавьте сервер через терминал:

code --add-mcp "{\"name\":\"crawlbase-crawlbase-mcp-k2cz\",\"type\":\"stdio\",\"command\":\"npx\",\"args\":[\"@crawlbase/mcp@latest\"],\"env\":{\"CRAWLBASE_TOKEN\":\"your_token_here\",\"CRAWLBASE_JS_TOKEN\":\"your_js_token_here\"}}"
ClaudeClaude Desktop

Откройте Settings → Developer → Edit Config — это откроет файл claude_desktop_config.json:

  • macOS: ~/Library/Application Support/Claude/claude_desktop_config.json
  • Windows: %APPDATA%\Claude\claude_desktop_config.json

Впишите сервер и полностью перезапустите Claude Desktop:

{
  "mcpServers": {
    "crawlbase-crawlbase-mcp-k2cz": {
      "type": "stdio",
      "command": "npx",
      "args": [
        "@crawlbase/mcp@latest"
      ],
      "env": {
        "CRAWLBASE_TOKEN": "your_token_here",
        "CRAWLBASE_JS_TOKEN": "your_js_token_here"
      }
    }
  }
}
Claude CodeClaude Code

Добавьте сервер одной командой в терминале:

claude mcp add crawlbase-crawlbase-mcp-k2cz --env CRAWLBASE_TOKEN=your_token_here --env CRAWLBASE_JS_TOKEN=your_js_token_here -- npx @crawlbase/mcp@latest

Либо через JSON-конфиг:

claude mcp add-json crawlbase-crawlbase-mcp-k2cz "{\"type\":\"stdio\",\"command\":\"npx\",\"args\":[\"@crawlbase/mcp@latest\"],\"env\":{\"CRAWLBASE_TOKEN\":\"your_token_here\",\"CRAWLBASE_JS_TOKEN\":\"your_js_token_here\"}}"
CodexCodex

Добавьте сервер командой в терминале:

codex mcp add crawlbase-crawlbase-mcp-k2cz --env CRAWLBASE_TOKEN=your_token_here --env CRAWLBASE_JS_TOKEN=your_js_token_here -- npx @crawlbase/mcp@latest

Либо вручную в ~/.codex/config.toml(%USERPROFILE%\.codex\config.toml на Windows):

[mcp_servers.crawlbase-crawlbase-mcp-k2cz]
command = "npx"
args = ["@crawlbase/mcp@latest"]

[mcp_servers.crawlbase-crawlbase-mcp-k2cz.env]
CRAWLBASE_TOKEN = "your_token_here"
CRAWLBASE_JS_TOKEN = "your_js_token_here"
PerplexityPerplexity

MCP доступен подписчикам Perplexity Pro / Max / Enterprise. Локальные серверы — только в приложении для macOS.

  1. Откройте Настройки аккаунта → Connectors.
  2. Установите вспомогательное приложение PerplexityXPC (один раз).
  3. Нажмите Add Connector → вкладка Simple.
  4. В поле Server Name укажите crawlbase/crawlbase-mcp, а в поле команды запуска — строку ниже:
npx @crawlbase/mcp@latest

Нажмите Save и дождитесь статуса Running.

WindsurfWindsurf

Откройте Windsurf Settings → Cascade → MCP Servers или отредактируйте файл ~/.codeium/windsurf/mcp_config.json:

{
  "mcpServers": {
    "crawlbase-crawlbase-mcp-k2cz": {
      "type": "stdio",
      "command": "npx",
      "args": [
        "@crawlbase/mcp@latest"
      ],
      "env": {
        "CRAWLBASE_TOKEN": "your_token_here",
        "CRAWLBASE_JS_TOKEN": "your_js_token_here"
      }
    }
  }
}
ClineCline

В панели Cline нажмите иконку MCP Servers → Configure → Configure MCP Servers (или отредактируйте ~/.cline/mcp.json) и добавьте сервер:

{
  "mcpServers": {
    "crawlbase-crawlbase-mcp-k2cz": {
      "type": "stdio",
      "command": "npx",
      "args": [
        "@crawlbase/mcp@latest"
      ],
      "env": {
        "CRAWLBASE_TOKEN": "your_token_here",
        "CRAWLBASE_JS_TOKEN": "your_js_token_here"
      },
      "disabled": false,
      "autoApprove": []
    }
  }
}
Continue

Создайте файл в .continue/mcpServers/ (например crawlbase-crawlbase-mcp-k2cz.yaml) или добавьте блок в config.yaml. MCP работает только в режиме agent:

mcpServers:
  - name: crawlbase-crawlbase-mcp-k2cz
    command: npx
    args:
      - "@crawlbase/mcp@latest"
    env:
      CRAWLBASE_TOKEN: your_token_here
      CRAWLBASE_JS_TOKEN: your_js_token_here
Zed

Выполните agent: add context server или откройте настройки (zed: open settings file) и добавьте сервер в объект context_servers:

{
  "context_servers": {
    "crawlbase-crawlbase-mcp-k2cz": {
      "type": "stdio",
      "command": "npx",
      "args": [
        "@crawlbase/mcp@latest"
      ],
      "env": {
        "CRAWLBASE_TOKEN": "your_token_here",
        "CRAWLBASE_JS_TOKEN": "your_js_token_here"
      }
    }
  }
}

Похожие MCP-сервера

urlbox/urlbox-mcp-server

urlbox/urlbox-mcp-server

от urlbox

MCP-сервер для Urlbox Screenshot API: делайте скриншоты, PDF, извлекайте HTML и markdown с любых сайтов. Идеален для AI-ассистентов, чтобы захватывать страницы без рекламы и куки-баннеров.

TypeScript⭐ 3
jae-jae/fetcher-mcp

jae-jae/fetcher-mcp

от jae-jae

Читает любые страницы через headless-браузер с JavaScript, вычищает рекламу и навигацию, отдаёт текст в HTML или Markdown. Загружает несколько URL параллельно.

TypeScript⭐ 1088
webscraping-ai/webscraping-ai-mcp-server

webscraping-ai/webscraping-ai-mcp-server

официальный

от webscraping-ai

MCP сервер для веб-скрапинга через WebScraping.AI — извлекает текст, HTML и структурированные данные, задаёт вопросы по содержимому страниц. Поддерживает JavaScript-рендеринг, CSS-селекторы, выбор прокси и эмуляцию устройств. Идеален для интеграции с LLM при сборе информации с сайтов.

JavaScript⭐ 45
zcaceres/fetch-mcp

zcaceres/fetch-mcp

от zcaceres

MCP сервер для загрузки веб-контента и преобразования его в HTML, Markdown, JSON, читаемый текст или транскрипты YouTube. Полезен разработчикам для извлечения статей, данных и субтитров без лишнего...

TypeScript⭐ 828
ofershap/mcp-server-scraper

ofershap/mcp-server-scraper

от ofershap

MCP-сервер для веб-скрапинга: извлекает чистый контент с URL в виде markdown, ссылки и метаданные. Использует Mozilla Readability, не требует API-ключей и настроек. Бесплатная альтернатива Firecraw...

TypeScript⭐ 6
securecoders/opengraph-io-mcp

securecoders/opengraph-io-mcp

от securecoders

Отдаёт OpenGraph.io данные по любой ссылке: превью сайта, скриншот, чистый текст и Markdown. Задавайте вопросы по содержанию страницы или извлекайте нужные теги.

TypeScript⭐ 2
© Каталог MCP, 2026. Все права защищены.
Проект не аффилирован с Anthropic и любыми упомянутыми продуктами.
Все названия и торговые марки принадлежат их владельцам.
Контакты для связи: hi@mcp-katalog.ru

Лука Никитин