Каталог MCP
webscraping-ai
webscraping-ai/webscraping-ai-mcp-server

webscraping-ai/webscraping-ai-mcp-server

MCP сервер для веб-скрапинга через WebScraping.AI — извлекает текст, HTML и структурированные данные, задаёт вопросы по содержимому страниц. Поддерживает JavaScript-рендеринг, CSS-селекторы, выбор прокси и эмуляцию устройств. Идеален для интеграции с LLM при сборе информации с сайтов.

README

7 инструментов

Установить сервер

WebScraping.AI MCP Server

A Model Context Protocol (MCP) server implementation that integrates with WebScraping.AI for web data extraction capabilities.

Features

Question answering about web page content
Structured data extraction from web pages
HTML content retrieval with JavaScript rendering
Plain text extraction from web pages
CSS selector-based content extraction
Multiple proxy types (datacenter, residential, stealth) with country selection
JavaScript rendering using headless Chrome/Chromium
Concurrent request management with rate limiting
Custom JavaScript execution on target pages
Device emulation (desktop, mobile, tablet)
Account usage monitoring
Content sandboxing option - Wraps scraped content with security boundaries to help protect against prompt injection

Installation

Running with npx

env WEBSCRAPING_AI_API_KEY=your_api_key npx -y webscraping-ai-mcp

Manual Installation

# Clone the repository
git clone https://github.com/webscraping-ai/webscraping-ai-mcp-server.git
cd webscraping-ai-mcp-server

# Install dependencies
npm install

# Run
npm start

webscraping_ai_account

Параметры

Без параметров.

webscraping_ai_fields

Параметры

urlstringобязательный
URL of the target page.
fieldsobjectобязательный
Dictionary of field names with instructions for extraction.
timeoutnumber
Maximum web page retrieval time in ms (15000 by default, maximum is 30000).
jsboolean
Execute on-page JavaScript using a headless browser (true by default).
js_timeoutnumber
Maximum JavaScript rendering time in ms (2000 by default).
wait_forstring
CSS selector to wait for before returning the page content.
proxyenum
Type of proxy: datacenter, residential, or stealth (residential by default). Use residential if the site restricts datacenter traffic, or stealth for the most heavily protected sites with advanced anti-bot detection. Residential and stealth requests cost more than datacenter — see the pricing page.
datacenterresidentialstealth
countryenum
Country of the proxy to use (US by default).
usgbdeitfrcaesrujpkrinhktr
custom_proxystring
Your own proxy URL in "http://user:password@host:port" format.
deviceenum
Type of device emulation.
desktopmobiletablet
error_on_404boolean
Return error on 404 HTTP status on the target page (false by default).
error_on_redirectboolean
Return error on redirect on the target page (false by default).
js_scriptstring
Custom JavaScript code to execute on the target page.

webscraping_ai_html

Параметры

urlstringобязательный
URL of the target page.
return_script_resultboolean
Return result of the custom JavaScript code execution.
formatenum
Response format (json or text).
jsontext
timeoutnumber
Maximum web page retrieval time in ms (15000 by default, maximum is 30000).
jsboolean
Execute on-page JavaScript using a headless browser (true by default).
js_timeoutnumber
Maximum JavaScript rendering time in ms (2000 by default).
wait_forstring
CSS selector to wait for before returning the page content.
proxyenum
Type of proxy: datacenter, residential, or stealth (residential by default). Use residential if the site restricts datacenter traffic, or stealth for the most heavily protected sites with advanced anti-bot detection. Residential and stealth requests cost more than datacenter — see the pricing page.
datacenterresidentialstealth
countryenum
Country of the proxy to use (US by default).
usgbdeitfrcaesrujpkrinhktr
custom_proxystring
Your own proxy URL in "http://user:password@host:port" format.
deviceenum
Type of device emulation.
desktopmobiletablet
error_on_404boolean
Return error on 404 HTTP status on the target page (false by default).
error_on_redirectboolean
Return error on redirect on the target page (false by default).
js_scriptstring
Custom JavaScript code to execute on the target page.

webscraping_ai_question

Параметры

urlstringобязательный
URL of the target page.
questionstringобязательный
Question or instructions to ask the LLM model about the target page.
timeoutnumber
Maximum web page retrieval time in ms (15000 by default, maximum is 30000).
jsboolean
Execute on-page JavaScript using a headless browser (true by default).
js_timeoutnumber
Maximum JavaScript rendering time in ms (2000 by default).
wait_forstring
CSS selector to wait for before returning the page content.
proxyenum
Type of proxy: datacenter, residential, or stealth (residential by default). Use residential if the site restricts datacenter traffic, or stealth for the most heavily protected sites with advanced anti-bot detection. Residential and stealth requests cost more than datacenter — see the pricing page.
datacenterresidentialstealth
countryenum
Country of the proxy to use (US by default).
usgbdeitfrcaesrujpkrinhktr
custom_proxystring
Your own proxy URL in "http://user:password@host:port" format.
deviceenum
Type of device emulation.
desktopmobiletablet
error_on_404boolean
Return error on 404 HTTP status on the target page (false by default).
error_on_redirectboolean
Return error on redirect on the target page (false by default).
js_scriptstring
Custom JavaScript code to execute on the target page.

webscraping_ai_selected

Параметры

urlstringобязательный
URL of the target page.
selectorstringобязательный
CSS selector to extract content for.
formatenum
Response format (json or text).
jsontext
timeoutnumber
Maximum web page retrieval time in ms (15000 by default, maximum is 30000).
jsboolean
Execute on-page JavaScript using a headless browser (true by default).
js_timeoutnumber
Maximum JavaScript rendering time in ms (2000 by default).
wait_forstring
CSS selector to wait for before returning the page content.
proxyenum
Type of proxy: datacenter, residential, or stealth (residential by default). Use residential if the site restricts datacenter traffic, or stealth for the most heavily protected sites with advanced anti-bot detection. Residential and stealth requests cost more than datacenter — see the pricing page.
datacenterresidentialstealth
countryenum
Country of the proxy to use (US by default).
usgbdeitfrcaesrujpkrinhktr
custom_proxystring
Your own proxy URL in "http://user:password@host:port" format.
deviceenum
Type of device emulation.
desktopmobiletablet
error_on_404boolean
Return error on 404 HTTP status on the target page (false by default).
error_on_redirectboolean
Return error on redirect on the target page (false by default).
js_scriptstring
Custom JavaScript code to execute on the target page.

webscraping_ai_selected_multiple

Параметры

urlstringобязательный
URL of the target page.
selectorsstring[]обязательный
Array of CSS selectors to extract content for.
timeoutnumber
Maximum web page retrieval time in ms (15000 by default, maximum is 30000).
jsboolean
Execute on-page JavaScript using a headless browser (true by default).
js_timeoutnumber
Maximum JavaScript rendering time in ms (2000 by default).
wait_forstring
CSS selector to wait for before returning the page content.
proxyenum
Type of proxy: datacenter, residential, or stealth (residential by default). Use residential if the site restricts datacenter traffic, or stealth for the most heavily protected sites with advanced anti-bot detection. Residential and stealth requests cost more than datacenter — see the pricing page.
datacenterresidentialstealth
countryenum
Country of the proxy to use (US by default).
usgbdeitfrcaesrujpkrinhktr
custom_proxystring
Your own proxy URL in "http://user:password@host:port" format.
deviceenum
Type of device emulation.
desktopmobiletablet
error_on_404boolean
Return error on 404 HTTP status on the target page (false by default).
error_on_redirectboolean
Return error on redirect on the target page (false by default).
js_scriptstring
Custom JavaScript code to execute on the target page.

webscraping_ai_text

Параметры

urlstringобязательный
URL of the target page.
text_formatenum
Format of the text response.
plainxmljson
return_linksboolean
Return links from the page body text.
timeoutnumber
Maximum web page retrieval time in ms (15000 by default, maximum is 30000).
jsboolean
Execute on-page JavaScript using a headless browser (true by default).
js_timeoutnumber
Maximum JavaScript rendering time in ms (2000 by default).
wait_forstring
CSS selector to wait for before returning the page content.
proxyenum
Type of proxy: datacenter, residential, or stealth (residential by default). Use residential if the site restricts datacenter traffic, or stealth for the most heavily protected sites with advanced anti-bot detection. Residential and stealth requests cost more than datacenter — see the pricing page.
datacenterresidentialstealth
countryenum
Country of the proxy to use (US by default).
usgbdeitfrcaesrujpkrinhktr
custom_proxystring
Your own proxy URL in "http://user:password@host:port" format.
deviceenum
Type of device emulation.
desktopmobiletablet
error_on_404boolean
Return error on 404 HTTP status on the target page (false by default).
error_on_redirectboolean
Return error on redirect on the target page (false by default).
js_scriptstring
Custom JavaScript code to execute on the target page.

Github Сайт сервера

Конфиг для установки сервера

{
  "command": "npx",
  "args": [
    "-y",
    "webscraping-ai-mcp"
  ],
  "env": {
    "WEBSCRAPING_AI_API_KEY": "YOUR_API_KEY_HERE",
    "WEBSCRAPING_AI_CONCURRENCY_LIMIT": "5",
    "WEBSCRAPING_AI_ENABLE_CONTENT_SANDBOXING": "true"
  }
}

Также webscraping-ai/webscraping-ai-mcp-server можно установить в Cursor по ссылке автоматически.

FAQ

Для чего этот сервер?

Этот MCP-сервер подключает AI-ассистента к WebScraping.AI, чтобы тот мог сам загружать и анализировать содержимое любой веб-страницы. Он решает задачу, когда нужно извлечь текст, ответить на вопрос по сайту или получить структурированные данные — и всё это в реальном времени, без написания собственного кода для парсинга.

Что он умеет?

Сервер читает и анализирует веб-страницы — отвечает на вопросы по их содержимому, извлекает структурированные данные по текстовой инструкции, получает полный HTML с рендерингом JavaScript и чистый текст. Выбирает содержимое по CSS-селекторам — один элемент или несколько. Проверяет состояние аккаунта WebScraping.AI.

Информация о сервере

Номер в рейтинге: #172
Звезд на Github: 44
Форков на Github: 15
Язык реализации: JavaScript
Лицензия: неизвестно
Официальный сервер: Да
Дата обновления данных: 19.07 в 08:13
Идентификатор: ksxjcH2foX5mEeiD
Категории: Автоматизация браузера, Веб-скрапинг, Инструменты для разработчиков, Исследования и данные

Другие проверенные MCP-сервера

zillow/auto-mobile

официальный

AutoMobile - MCP сервер для автоматизации мобильных приложений, полезный для UI тестирования и как ассистент разработчика под Android (iOS в планах). Позволяет взаимодействовать с эмуляторами, управлять жизненным циклом приложений и автоматически писать тесты через source mapping.

wonderwhy-er/DesktopCommanderMCP

Desktop Commander — MCP сервер для управления файлами, запуска терминальных команд, редактирования кода, работы с Excel, PDF и DOCX. Разработчики используют его для автоматизации задач и взаимодейс...

XGenerationLab/xiyan_mcp_server

официальный

MCP-сервер для запросов к базам данных на естественном языке. Основан на XiYan-SQL - SOTA модели text-to-SQL. Поддерживает MySQL, PostgreSQL, общие LLM и локальный режим. Упрощает извлечение данных...

dbt-labs/dbt-mcp

официальный

MCP сервер для интеграции AI-агентов с dbt Core, Fusion и Platform. Предоставляет инструменты для SQL, семантического слоя, Discovery API, dbt CLI и кодогенерации. Помогает инженерам данных анализировать и управлять dbt-проектами через AI.

QuantConnect/mcp-server

официальный

Официальный MCP сервер QuantConnect — мост между AI-ассистентами и платформой. Через API позволяет создавать проекты, писать стратегии, запускать бэктесты и управлять live-трейдингом. Удобен для ра...

awslabs/mcp

официальный

Набор open source MCP-серверов от AWS Labs для интеграции AI-ассистентов с AWS-сервисами. Упрощает облачную разработку, управление инфраструктурой, работу с базами данных и документацией прямо из I...