ofershap/mcp-server-scraper

ofershap/mcp-server-scraper

от ofershap
MCP-сервер для веб-скрапинга: извлекает чистый контент с URL в виде markdown, ссылки и метаданные. Использует Mozilla Readability, не требует API-ключей и настроек. Бесплатная альтернатива Firecraw...

mcp-server-scraper

npm version npm downloads CI TypeScript License: MIT Agent Plugins

Extract clean, readable content from any URL. Returns markdown text, links, and metadata. No API keys, no config. A free alternative to Firecrawl for scraping docs, blogs, and articles.

npx mcp-server-scraper

Works with Claude Desktop, Cursor, VS Code Copilot, and any MCP client. No accounts or API keys needed.

Install in Cursor   Add to VS Code

MCP server for web scraping, content extraction, and URL metadata

Demo built with remotion-readme-kit

Why

When you're working with an AI assistant and need to reference a docs page, a blog post, or an API reference, you usually end up copy-pasting content manually. Tools like Firecrawl solve this but require a paid API key. This server does the same thing for free. It fetches a URL, runs it through Mozilla Readability (the same engine behind Firefox Reader View), and returns clean markdown. It works well for server-rendered content like documentation sites, blog posts, and articles. It won't handle JavaScript-heavy SPAs, but for the most common use case of "read this docs page and summarize it," it does the job.

Часто задаваемые вопросы

Инструменты были проиндексированы:
extract_links

Извлекает все ссылки со страницы с их href и текстом ссылки. Преобразует относительные URL-адреса. Пропускает якоря и ссылки javascript:.

Параметры
  • urlstringобязательный

    URL-адрес, из которого нужно извлечь ссылки

extract_metadata

Извлекает метаданные страницы: заголовок, описание, теги Open Graph (og:title, og:description, og:image), канонический URL и фавикон.

Параметры
  • urlstringобязательный

    URL-адрес, из которого извлекаются метаданные.

scrape_multiple

Выполняет пакетный сбор данных с нескольких URL. Возвращает заголовок и выдержку для каждого. Ошибки сообщаются для каждого URL без остановки всего пакета.

Параметры
  • urlsstring[]обязательный

    Массив URL-адресов для обхода.

scrape_url

Извлекает чистый читаемый текст из URL с помощью Mozilla Readability. Возвращает заголовок, выдержку и основной контент. Лучше всего подходит для статей, документов и блогов.

Параметры
  • urlstringобязательный

    URL для парсинга

search_page

Ищет строку запроса в тексте страницы. Возвращает совпадающие строки (по одной на строку). Используется для поиска упоминаний термина.

Параметры
  • querystringобязательный

    Поисковый запрос

  • urlstringобязательный

    URL для поиска

1.0.1основная
1.0.0

Выберите клиент, чтобы установить ofershap/mcp-server-scraper:

Любой клиент

Конфиг добавления MCP сервера стандартный, обычно он не меняется вообще, поэтому подходит практически к любому ИИ клиенту, поддерживающему MCP.

{
  "mcpServers": {
    "ofershap-mcp-server-scraper-1dmf6kk31x": {
      "command": "npx",
      "args": [
        "-y",
        "mcp-server-scraper"
      ]
    }
  }
}
CursorCursor

Перейдите по ссылке и сервер автоматически будет добавлен в Cursor. Либо откройте/создайте файл ~/.cursor/mcp.json(%USERPROFILE%\.cursor\mcp.json на Windows) и добавьте конфиг сервера:

{
  "mcpServers": {
    "ofershap-mcp-server-scraper-1dmf6kk31x": {
      "command": "npx",
      "args": [
        "-y",
        "mcp-server-scraper"
      ]
    }
  }
}
VS Code

Создайте .vscode/mcp.json в проекте (ключ верхнего уровня — servers):

{
  "servers": {
    "ofershap-mcp-server-scraper-1dmf6kk31x": {
      "type": "stdio",
      "command": "npx",
      "args": [
        "-y",
        "mcp-server-scraper"
      ]
    }
  }
}

Либо добавьте сервер через терминал:

code --add-mcp "{\"name\":\"ofershap-mcp-server-scraper-1dmf6kk31x\",\"type\":\"stdio\",\"command\":\"npx\",\"args\":[\"-y\",\"mcp-server-scraper\"]}"
ClaudeClaude Desktop

Откройте Settings → Developer → Edit Config — это откроет файл claude_desktop_config.json:

  • macOS: ~/Library/Application Support/Claude/claude_desktop_config.json
  • Windows: %APPDATA%\Claude\claude_desktop_config.json

Впишите сервер и полностью перезапустите Claude Desktop:

{
  "mcpServers": {
    "ofershap-mcp-server-scraper-1dmf6kk31x": {
      "command": "npx",
      "args": [
        "-y",
        "mcp-server-scraper"
      ]
    }
  }
}
Claude CodeClaude Code

Добавьте сервер одной командой в терминале:

claude mcp add ofershap-mcp-server-scraper-1dmf6kk31x -- npx -y mcp-server-scraper

Либо через JSON-конфиг:

claude mcp add-json ofershap-mcp-server-scraper-1dmf6kk31x "{\"command\":\"npx\",\"args\":[\"-y\",\"mcp-server-scraper\"]}"
CodexCodex

Добавьте сервер командой в терминале:

codex mcp add ofershap-mcp-server-scraper-1dmf6kk31x -- npx -y mcp-server-scraper

Либо вручную в ~/.codex/config.toml(%USERPROFILE%\.codex\config.toml на Windows):

[mcp_servers.ofershap-mcp-server-scraper-1dmf6kk31x]
command = "npx"
args = ["-y", "mcp-server-scraper"]
PerplexityPerplexity

MCP доступен подписчикам Perplexity Pro / Max / Enterprise. Локальные серверы — только в приложении для macOS.

  1. Откройте Настройки аккаунта → Connectors.
  2. Установите вспомогательное приложение PerplexityXPC (один раз).
  3. Нажмите Add Connector → вкладка Simple.
  4. В поле Server Name укажите ofershap/mcp-server-scraper, а в поле команды запуска — строку ниже:
npx -y mcp-server-scraper

Нажмите Save и дождитесь статуса Running.

WindsurfWindsurf

Откройте Windsurf Settings → Cascade → MCP Servers или отредактируйте файл ~/.codeium/windsurf/mcp_config.json:

{
  "mcpServers": {
    "ofershap-mcp-server-scraper-1dmf6kk31x": {
      "command": "npx",
      "args": [
        "-y",
        "mcp-server-scraper"
      ]
    }
  }
}
ClineCline

В панели Cline нажмите иконку MCP Servers → Configure → Configure MCP Servers (или отредактируйте ~/.cline/mcp.json) и добавьте сервер:

{
  "mcpServers": {
    "ofershap-mcp-server-scraper-1dmf6kk31x": {
      "command": "npx",
      "args": [
        "-y",
        "mcp-server-scraper"
      ],
      "disabled": false,
      "autoApprove": []
    }
  }
}
Continue

Создайте файл в .continue/mcpServers/ (например ofershap-mcp-server-scraper-1dmf6kk31x.yaml) или добавьте блок в config.yaml. MCP работает только в режиме agent:

mcpServers:
  - name: ofershap-mcp-server-scraper-1dmf6kk31x
    command: npx
    args:
      - "-y"
      - "mcp-server-scraper"
Zed

Выполните agent: add context server или откройте настройки (zed: open settings file) и добавьте сервер в объект context_servers:

{
  "context_servers": {
    "ofershap-mcp-server-scraper-1dmf6kk31x": {
      "command": "npx",
      "args": [
        "-y",
        "mcp-server-scraper"
      ]
    }
  }
}

Похожие MCP-сервера

just-every/mcp-read-website-fast

just-every/mcp-read-website-fast

от just-every

MCP-сервер для быстрого извлечения веб-контента и преобразования в чистый Markdown. Минимизирует расход токенов, использует Mozilla Readability и кэширование. Идеален для Claude Code, IDE и AI-пайп...

TypeScript⭐ 163
aparajithn/agent-scraper-mcp

aparajithn/agent-scraper-mcp

от aparajithn

MCP инструмент для веб-скрапинга: извлекает чистый контент в markdown, делает скриншоты, собирает метаданные и ссылки с сайтов, а также ищет в Google. Разработчики AI-агентов используют его для автоматизации сбора данных с веб-страниц. Доступен через REST API с бесплатным лимитом 50 запросов в день.

Python⭐ 8
olostep/olostep-mcp-server

olostep/olostep-mcp-server

от olostep

MCP сервер для веб-скрапинга и поиска через Olostep: извлекает контент в разных форматах и выполняет ИИ-поиск с цитатами, пакетно собирает до 10k URL и обходит сайты с построением карты ссылок.

TypeScript⭐ 24
andyliszewski/webcrawl-mcp

andyliszewski/webcrawl-mcp

от andyliszewski

MCP сервер для веб-скрапинга, поиска и обхода сайтов без headless-браузера. Использует бесплатные библиотеки (trafilatura) для извлечения контента, с опциональным Fallback на Firecrawl для JS-тяжёл...

Python⭐ 16
bighippoman/intercept-mcp

bighippoman/intercept-mcp

от bighippoman

intercept-mcp — MCP-сервер, дающий AI возможность читать веб-страницы: извлекает чистый markdown из любых URL, обрабатывает Twitter, YouTube, arXiv, PDF, GitHub и другие источники. Использует много...

TypeScript⭐ 9
lyrenth/lyrenth-mcp

lyrenth/lyrenth-mcp

от lyrenth

MCP сервер Lyrenth для чтения веб-страниц: превращает HTML в Markdown (AIDocument), экономя токены. Полезен AI-агентам для получения чистого контента без навигации. Поддерживает пакетные запросы до 20 URL и кэширование.

TypeScript⭐ 1
© Каталог MCP, 2026. Все права защищены.
Проект не аффилирован с Anthropic и любыми упомянутыми продуктами.
Все названия и торговые марки принадлежат их владельцам.
Контакты для связи: hi@mcp-katalog.ru

Лука Никитин