MCP серверы для веб-скрапинга и сбора данных с сайтов

HasData/hasdata-mcp

от HasData

MCP-сервер с 40 готовыми инструментами для парсинга и поиска данных: Google, Amazon, Zillow, Airbnb. Подключается к AI-клиентам без установки. Полезен разработчикам и аналитикам для интеграции стру...

krissanders/ai-visibility-mcp

от krissanders

MCP-сервер для аудита и исправления видимости сайта для AI-поиска. Проверяет robots.txt, схему, ссылки на LLM, настройки Cloudflare и генерирует исправления. Помогает SEO-специалистам и владельцам ...

yubinkim444/ai-first-scraper-mcp

от yubinkim444

Этот MCP сервер даёт AI-агентам три инструмента: загрузку страницы в Markdown, пакетную загрузку до 25 URL, веб-поиск с авто-преобразованием результатов. Избавляет от сырого HTML и рекламы, для Claude, Cursor, Cline.

PSPDFKit/nutrient-dws-mcp-server

официальный

от PSPDFKit

MCP-сервер для подключения AI-ассистентов к Nutrient DWS API: создавайте, редактируйте, конвертируйте и подписывайте документы через естественный язык. Полезен разработчикам, внедряющим документооб...

nvms/tui-mcp

от nvms

MCP-сервер для управления TUI-приложениями через терминал. Поддерживает постоянные сессии: запускает TUI-программы (vim, htop), снимает скриншоты с xterm-эмуляцией, анализирует вывод.

marykovziridze/screaming-frog-mcp

от marykovziridze

MCP сервер для headless краулинга Screaming Frog через Claude: отправляйте URL и получайте экспорт CSV без GUI. Исправлены баги оригинала (зависания, проблемы с GUI, опасное удаление). Инструмент для SEO-автоматизации и встраивания краулинга в пайплайны без ручного запуска.

Erodenn/fetch-guard

от Erodenn

FetchGuard - MCP-сервер и CLI для безопасного извлечения веб-контента в чистый Markdown. Защищает от prompt-инъекций, скрытых элементов, бот-блоков и paywall. Полезен при интеграции веб-данных в LL...

leonardoca1/aesthetics-wiki-mcp

от leonardoca1

Сервер MCP для Aesthetics Wiki - ищи, читай и открывай тысячи эстетик (cottagecore, y2k). Готовые инструменты поиска, изображений, случайной подборки. Полезен дизайнерам, писателям, креаторам для m...

crawlbase/crawlbase-mcp

от crawlbase

Crawlbase MCP инструмент соединяет AI с живым вебом: извлекает HTML, Markdown и скриншоты, обрабатывая JavaScript и защиту от ботов. Идеально для анализа рынка, мониторинга цен и автономных агентов, требующих свежих данных.

scrapeless-ai/scrapeless-mcp-server

официальный

от scrapeless-ai

Scrapeless MCP Server подключает LLM и AI-агентов к вебу: поиск Google, тренды, браузерная автоматизация, скрапинг (HTML, Markdown, скриншоты). Применяется для AI-ассистентов, копилотов и веб-агентов.

jae-jae/g-search-mcp

от jae-jae

MCP сервер для параллельного поиска в Google: отправляет несколько запросов одновременно, обходит капчу, симулирует поведение пользователя. Возвращает структурированные JSON-результаты — удобно для анализа данных и автоматизации.

mzxrai/mcp-webresearch

от mzxrai

MCP-сервер для веб-исследований, подключающий Claude к интернету: поиск в Google, извлечение содержимого страниц, создание скриншотов и трекинг сессии. Полезен, чтобы получать актуальную информацию...

graphlit-mcp-server

официальный

от graphlit

MCP сервер для Graphlit — превращает проект в RAG-базу знаний из данных Slack, Discord, Jira, GitHub, Google Drive. Работает в Cursor, Windsurf, Goose, Cline. Встроен веб-краулинг и веб-поиск.

Ihor-Sokoliuk/MCP-SearXNG

от ihor-sokoliuk

MCP сервер для приватного веб-поиска, подключающий любой SearXNG к AI-ассистентам. Поддерживает поиск с пагинацией, чтение URL, кеширование, фильтры времени и языка — всё без API-ключей и с сохране...

tavily-ai/tavily-mcp

от tavily-ai

MCP сервер Tavily предоставляет инструменты для веб-поиска, извлечения данных и построения карты сайта в реальном времени. Помогает разработчикам AI-ассистентов получать актуальную информацию из интернета.

Browserbase MCP

официальный

от browserbase

MCP сервер облачной автоматизации браузера Browserbase. Позволяет AI-агентам навигировать по сайтам, извлекать данные и выполнять действия. Полезен для RPA и веб-скрапинга. Доступен self-hosted и hosted.

kagisearch/kagimcp

от kagisearch

MCP-сервер для поиска и извлечения контента через Kagi API. Поддерживает веб, новости, видео, подкасты, изображения и выгрузку страниц в Markdown. Полезен разработчикам MCP-клиентов.

lyonzin/knowledge-rag

от lyonzin

Knowledge RAG — MCP сервер для локальной базы знаний из ваших PDF, Markdown и кода. Гибридный поиск (BM25 + семантика) и реранжинг работают офлайн, без API-ключей и Docker. 13 MCP инструментов для ...

tinyfish-io/agentql-mcp

официальный

от tinyfish-io

Сервер AgentQL для MCP извлекает структурированные данные с любой веб-страницы по описанию на естественном языке. Разработчику достаточно указать URL и перечислить нужные поля – MCP инструмент сам соберет информацию для AI-агентов.

lfnovo/content-core

от lfnovo

MCP сервер Content Core извлекает, обрабатывает и суммаризирует контент из URL, документов и медиафайлов. Полезен разработчикам и ИИ-агентам: интеграция с Claude Desktop, поддержка YouTube, PDF, аудио. Единый API и CLI.

executeautomation/playwright-mcp-server

от executeautomation

Сервер для браузерной автоматизации на Playwright. Используется AI-агентами для открытия страниц, скриншотов, веб-скрапинга и выполнения JavaScript в реальном браузере. Отлично подходит для тестиро...

Firecrawl MCP

официальный

от firecrawl

MCP сервер для поиска и скрапинга веб-страниц, превращающий живой интернет в чистые данные для ИИ-агентов. Поддерживает навигацию, клики и автономные исследования. Работает в облаке или локально.

Playwright MCP

официальный

от microsoft

MCP сервер для браузерной автоматизации на основе Playwright. Использует structured accessibility snapshots вместо скриншотов, что делает его быстрым и LLM-friendly. Подходит для агентов, тестирования и автономных сценариев без vision-моделей.

kimtaeyoon83/mcp-server-youtube-transcript

от kimtaeyoon83

Сервер для извлечения транскриптов и субтитров из YouTube видео. Поддерживает ссылки, Shorts и ID, автоматически подбирает язык и фильтрует рекламу. Полезен разработчикам AI-ассистентов и аналитика...

zcaceres/fetch-mcp

от zcaceres

MCP сервер для загрузки веб-контента и преобразования его в HTML, Markdown, JSON, читаемый текст или транскрипты YouTube. Полезен разработчикам для извлечения статей, данных и субтитров без лишнего...

mendableai/firecrawl-mcp-server

от mendableai

Firecrawl MCP сервер для AI-агентов, которым нужен чистый контекст из живого веба. Ищет информацию, скрапит страницы в структурированные данные, кликает и навигирует. Работает с облаком и сам хостингом, поддерживает автоматические ретраи. Полезен разработчикам для исследований и автоматизации сбо...

Aas-ee/open-webSearch

от Aas-ee

open-websearch — это MCP-сервер и CLI для веб-поиска и извлечения контента без API-ключей. Поддерживает множество поисковиков (Bing, Baidu, DuckDuckGo и др.), загружает статьи и README с GitHub. Ра...

Retio-ai/pagemap

от Retio-ai

PageMap сжимает HTML в компактные карты для AI-агентов, сокращая токены на 97%. Агенты могут кликать, вводить текст и навигировать по страницам, поддерживая 16 типов и 30+ e-commerce. Идеально для ...

apify/mcp-server-rag-web-browser

официальный

от apify

MCP сервер подключает AI агентов к вебу через RAG Web Browser Actor. Выполняет поиск в Google, извлекает страницы и возвращает чистый Markdown. Идеально для RAG пайплайнов и LLM, которым нужны свежие данные из интернета.

brightdata/brightdata-mcp

официальный

от brightdata

MCP-сервер Bright Data подключает LLM к живому интернету, обходя блокировки и CAPTCHA. Даёт real-time поиск, скрапинг, мониторинг e-commerce, данных с npm/PyPI и AI-брендов. Бесплатно 5 000 кредитов в месяц.

jae-jae/fetcher-mcp

от jae-jae

MCP сервер для извлечения веб-контента через Playwright. Работает с динамическими сайтами, поддерживает JavaScript, умное выделение текста и пакетную загрузку. Идеален для сбора данных и разработки.

nkapila6/mcp-local-rag

от nkapila6

Локальный MCP-сервер для RAG-поиска и глубоких исследований без API-ключей. Поддерживает 9+ поисковых движков (Google, DuckDuckGo и др.), выполняет семантическое ранжирование результатов. Полезен д...

serpapi/serpapi-mcp

официальный

от serpapi

MCP-сервер для поиска через SerpApi: объединяет Google, Bing, YouTube, eBay и другие движки. Поддерживает погоду, котировки и гибкие режимы ответов - удобно для ИИ-агентов, которым нужны структурир...

scraperapi/scraperapi-mcp

от scraperapi

MCP сервер для интеграции с ScraperAPI, позволяющий LLM-агентам легко выполнять веб-скрапинг. Поддерживает рендеринг JavaScript, геотаргетинг и обход блокировок. Полезен разработчикам, работающим с...

wd041216-bit/free-web-search-ultimate

от wd041216-bit

Zero-API-Key Web Search - MCP-сервер для AI-агентов: веб-поиск, извлечение контекста, проверка утверждений с взвешенной оценкой доказательств. Бесплатно без API-ключа, поддерживает DuckDuckGo, Sear...

kimdonghwi94/Web-Analyzer-MCP

от kimdonghwi94

MCP сервер для интеллектуального анализа веб-страниц: умеет извлекать ключевой контент в чистый markdown и отвечать на вопросы по содержимому сайта с помощью GPT. Помогает разработчикам получать су...

ymw0407/auth-fetch-mcp

от ymw0407

MCP сервер для AI-ассистентов: открывает браузер для входа на защищённые страницы, захватывает очищенный HTML и сохраняет сессии локально. Помогает разработчикам читать сайты с авторизацией через ИИ без повторных логинов.

hyperbrowserai/mcp

от hyperbrowserai

MCP сервер Hyperbrowser для скрапинга, краулинга и извлечения структурированных данных. Включает браузерные агенты OpenAI CUA и Claude. Для веб-автоматизации и сбора данных LLM.

MikkoParkkola/nab

от mikkoparkkola

Nab это токен-эффективный MCP сервер: извлекает чистый markdown из URL с куками, локально транскрибирует аудио/видео и отслеживает изменения. Всё в одном Rust-бинарнике с защитой от инъекций.

nicholasglazer/gnosis-mcp

от nicholasglazer

MCP-сервер для локального поиска по документам: AI-агент сам находит нужные фрагменты, экономя до 10× токенов. Гибридный поиск (ключевые слова + семантика) без облачных зависимостей. Идеально для р...

pskill9/website-downloader

от pskill9

MCP-сервер для скачивания целых сайтов с помощью wget. Сохраняет структуру и конвертирует ссылки для локального просмотра. Полезен для архивирования и офлайн-доступа. Требует установленного wget.

overtlids/mcp-searxng-enhanced

от overtlids

MCP-сервер для веб-поиска с поддержкой категорий (изображения, видео, файлы) и извлечения контента сайтов с цитированием. Включает чтение PDF, кэширование и управление временными зонами. Полезен разработчикам, интегрирующим SearXNG в ассистентов и инструменты.

ekas-io/open-sales-stack

от ekas-io

Open Sales Stack — открытый набор MCP-серверов для исследования B2B-продаж. Он собирает публичные данные с сайтов, LinkedIn, рекламы и других источников, автоматизируя анализ компаний и потенциальн...

Khamel83/argus

от khamel83

MCP-сервер Argus маршрутизирует поиск по 14 провайдерам, восстанавливает недоступные URL и извлекает контент. Полезен разработчикам AI-агентов и RAG-пайплайнов. Работает без ключей с DuckDuckGo и Yahoo.

konippi/servo-fetch

от konippi

Автономный браузерный движок для веб-скрапинга: извлекает контент без Chromium и API-ключей. Встроенный MCP сервер для AI-агентов выполняет JS, обходит сайты, строит layout. Полезен разработчикам.

pskill9/web-search

от pskill9

MCP сервер для бесплатного поиска в Google без ключей API. Отдаёт структурированные результаты: Title, URL, сниппет. Идеально для AI-агентов, требующих веб-поиска.

Brand-System/brandsystem-mcp

от brand-system

MCP-сервер создает портативный .brand рантайм - извлекает бренд-идентичность из сайтов, Figma и PDF, компилирует гайдлайны, токены и правила голоса. AI-инструменты используют этот рантайм для генер...

n24q02m/wet-mcp

от n24q02m

Открытый MCP-сервер для AI-агентов с веб-поиском, извлечением контента и поиском по документации библиотек. Использует 5 стратегий скрапинга, работает без API-ключей — подходит для автономного сбор...

alexey-pelykh/lhremote

от alexey-pelykh

lhremote — MCP-сервер для автоматизации LinkedHelper через AI-ассистентов. Позволяет управлять кампаниями, профилями, сообщениями и лентой LinkedIn, импортировать контакты и отслеживать бюджет дейс...

duriantaco/skylos

от duriantaco

Skylos — open-source статический анализатор кода на Python, JS, Java и других языках. Выявляет мертвый код, уязвимости, секреты и типичные ошибки AI-кода. Работает локально, интегрируется в CI/CD д...