Каталог MCP
aparajithn/agent-scraper-mcp

aparajithn/agent-scraper-mcp

Name: aparajithn/agent-scraper-mcp
Availability: InStock
Author: aparajithn

MCP инструмент для веб-скрапинга: извлекает чистый контент в markdown, делает скриншоты, собирает метаданные и ссылки с сайтов, а также ищет в Google. Разработчики AI-агентов используют его для автоматизации сбора данных с веб-страниц. Доступен через REST API с бесплатным лимитом 50 запросов в день.

Github Сайт сервера

README

6 инструментов

Версии

Установить сервер

Agent Scraper MCP Server

The #1 most requested utility for AI agents — professional web scraping, screenshots, and content extraction via MCP + REST API.

Features

🌐 Clean Content Extraction — Extract readable text/markdown from any webpage (like Readability)
🎯 Structured Scraping — Extract specific data using CSS selectors
📸 Screenshots — Capture full-page or viewport screenshots with Playwright
🔗 Link Extraction — Get all links from a page with optional regex filtering
📋 Metadata Extraction — Extract title, description, Open Graph tags, favicon, etc
🔍 Google Search — Search Google and get results programmatically

Quick Start

MCP Configuration

Add to your MCP settings file (cline_mcp_settings.json or similar):

{
  "mcpServers": {
    "agent-scraper": {
      "url": "https://agent-scraper-mcp.onrender.com/mcp"
    }
  }
}

REST API

Base URL: https://agent-scraper-mcp.onrender.com

Scrape URL (Clean Content)

curl -X POST https://agent-scraper-mcp.onrender.com/api/v1/scrape_url \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/article",
    "format": "markdown"
  }'

Инструменты были проиндексированы: 21.09.2026

tool_extract_links

Extract all links from a URL with their text. Args: url: URL to scrape filter: Optional regex pattern to filter URLs Returns: Array of {text, href} objects

Параметры

filterstring
urlstringобязательный

tool_extract_meta

Extract metadata from a URL (title, description, OG tags, favicon, etc). Args: url: URL to scrape Returns: Metadata object with title, description, Open Graph tags, etc

Параметры

urlstringобязательный

tool_scrape_structured

Extract structured data from a URL using CSS selectors. Args: url: URL to scrape selectors: Dict of name → CSS selector (e.g. {"title": "h1.title", "price": ".price"}) Returns: JSON object with extracted data for each selector

Параметры

selectorsobjectобязательный
urlstringобязательный

tool_scrape_url

Fetch a URL and extract clean text/markdown content (like readability). Args: url: URL to scrape format: Output format (text|markdown|html) Returns: Extracted content with title and metadata

Параметры

formatstring
urlstringобязательный

tool_screenshot_url

Take a screenshot of a URL. Args: url: URL to screenshot width: Viewport width (default 1280) height: Viewport height (default 720) full_page: Capture full scrollable page (default false) Returns: Base64-encoded PNG image

Параметры

full_pageboolean
heightinteger
urlstringобязательный
widthinteger

tool_search_google

Search Google and return results. Args: query: Search query num_results: Number of results to return (default 10) Returns: Array of {title, url, snippet} objects

Параметры

num_resultsinteger
querystringобязательный

У этого сервера пока нет списка версий.

Выберите клиент, чтобы установить aparajithn/agent-scraper-mcp:

Любой клиент

Конфиг добавления MCP сервера стандартный, обычно он не меняется вообще, поэтому подходит практически к любому ИИ клиенту, поддерживающему MCP.

{
  "mcpServers": {
    "aparajithn-agent-scraper-mcp-brreyik776": {
      "url": "https://agent-scraper-mcp.onrender.com/mcp",
      "type": "http"
    }
  }
}

Cursor

Перейдите по ссылке и сервер автоматически будет добавлен в Cursor. Либо откройте/создайте файл ~/.cursor/mcp.json(%USERPROFILE%\.cursor\mcp.json на Windows) и добавьте конфиг сервера:

{
  "mcpServers": {
    "aparajithn-agent-scraper-mcp-brreyik776": {
      "url": "https://agent-scraper-mcp.onrender.com/mcp",
      "type": "http"
    }
  }
}

VS Code

Создайте .vscode/mcp.json в проекте (ключ верхнего уровня — servers):

{
  "servers": {
    "aparajithn-agent-scraper-mcp-brreyik776": {
      "type": "http",
      "url": "https://agent-scraper-mcp.onrender.com/mcp"
    }
  }
}

Либо добавьте сервер через терминал:

code --add-mcp "{\"name\":\"aparajithn-agent-scraper-mcp-brreyik776\",\"type\":\"http\",\"url\":\"https://agent-scraper-mcp.onrender.com/mcp\"}"

Claude Desktop

Откройте Settings → Developer → Edit Config — это откроет файл claude_desktop_config.json:

macOS: ~/Library/Application Support/Claude/claude_desktop_config.json
Windows: %APPDATA%\Claude\claude_desktop_config.json

Впишите сервер и полностью перезапустите Claude Desktop:

{
  "mcpServers": {
    "aparajithn-agent-scraper-mcp-brreyik776": {
      "url": "https://agent-scraper-mcp.onrender.com/mcp",
      "type": "http"
    }
  }
}

Claude Code

Добавьте сервер одной командой в терминале:

claude mcp add --transport http aparajithn-agent-scraper-mcp-brreyik776 https://agent-scraper-mcp.onrender.com/mcp

Либо через JSON-конфиг:

claude mcp add-json aparajithn-agent-scraper-mcp-brreyik776 "{\"url\":\"https://agent-scraper-mcp.onrender.com/mcp\",\"type\":\"http\"}"

Codex

Добавьте сервер командой в терминале:

codex mcp add aparajithn-agent-scraper-mcp-brreyik776 --url https://agent-scraper-mcp.onrender.com/mcp

Либо вручную в ~/.codex/config.toml(%USERPROFILE%\.codex\config.toml на Windows):

[mcp_servers.aparajithn-agent-scraper-mcp-brreyik776]
url = "https://agent-scraper-mcp.onrender.com/mcp"

Perplexity

MCP доступен подписчикам Perplexity Pro / Max / Enterprise. Локальные серверы — только в приложении для macOS.

Откройте Настройки аккаунта → Connectors.
Установите вспомогательное приложение PerplexityXPC (один раз).
Нажмите Add Connector → вкладка Simple.
В поле Server Name укажите aparajithn/agent-scraper-mcp.

Нажмите Save и дождитесь статуса Running.

Windsurf

Откройте Windsurf Settings → Cascade → MCP Servers или отредактируйте файл ~/.codeium/windsurf/mcp_config.json:

{
  "mcpServers": {
    "aparajithn-agent-scraper-mcp-brreyik776": {
      "url": "https://agent-scraper-mcp.onrender.com/mcp",
      "type": "http"
    }
  }
}

Cline

В панели Cline нажмите иконку MCP Servers → Configure → Configure MCP Servers (или отредактируйте ~/.cline/mcp.json) и добавьте сервер:

{
  "mcpServers": {
    "aparajithn-agent-scraper-mcp-brreyik776": {
      "url": "https://agent-scraper-mcp.onrender.com/mcp",
      "type": "http",
      "disabled": false,
      "autoApprove": []
    }
  }
}

Continue

Создайте файл в .continue/mcpServers/ (например aparajithn-agent-scraper-mcp-brreyik776.yaml) или добавьте блок в config.yaml. MCP работает только в режиме agent:

mcpServers:
  - name: aparajithn-agent-scraper-mcp-brreyik776
    type: http
    url: https://agent-scraper-mcp.onrender.com/mcp

Zed

Выполните agent: add context server или откройте настройки (zed: open settings file) и добавьте сервер в объект context_servers:

{
  "context_servers": {
    "aparajithn-agent-scraper-mcp-brreyik776": {
      "url": "https://agent-scraper-mcp.onrender.com/mcp",
      "type": "http"
    }
  }
}

Конфиг для установки сервера

{
  "type": "http",
  "url": "https://agent-scraper-mcp.onrender.com/mcp"
}

Информация о сервере

Номер в рейтинге: #201
Звезд на Github: 8
Форков на Github: 1
Язык реализации: Python
Лицензия: MIT
Официальный сервер: Нет
Дата обновления данных: 21.09 в 09:07
Идентификатор: wdCsKR6P2SfUxory
Категории: Автоматизация браузера, Веб-скрапинг, Исследования и данные, Поиск

Похожие MCP-сервера

Browserbase MCP

официальный

от browserbase

MCP сервер облачной автоматизации браузера Browserbase. Позволяет AI-агентам навигировать по сайтам, извлекать данные и выполнять действия. Полезен для RPA и веб-скрапинга. Доступен self-hosted и hosted.

ofershap/mcp-server-scraper

от ofershap

MCP-сервер для веб-скрапинга: извлекает чистый контент с URL в виде markdown, ссылки и метаданные. Использует Mozilla Readability, не требует API-ключей и настроек. Бесплатная альтернатива Firecraw...

webscraping-ai/webscraping-ai-mcp-server

официальный

от webscraping-ai

MCP сервер для веб-скрапинга через WebScraping.AI — извлекает текст, HTML и структурированные данные, задаёт вопросы по содержимому страниц. Поддерживает JavaScript-рендеринг, CSS-селекторы, выбор прокси и эмуляцию устройств. Идеален для интеграции с LLM при сборе информации с сайтов.

executeautomation/playwright-mcp-server

от executeautomation

Сервер для браузерной автоматизации на Playwright. Используется AI-агентами для открытия страниц, скриншотов, веб-скрапинга и выполнения JavaScript в реальном браузере. Отлично подходит для тестиро...

hyperbrowserai/mcp

от hyperbrowserai

MCP сервер Hyperbrowser для скрапинга, краулинга и извлечения структурированных данных. Включает браузерные агенты OpenAI CUA и Claude. Для веб-автоматизации и сбора данных LLM.

mzxrai/mcp-webresearch

от mzxrai

MCP-сервер для веб-исследований, подключающий Claude к интернету: поиск в Google, извлечение содержимого страниц, создание скриншотов и трекинг сессии. Полезен, чтобы получать актуальную информацию...