Добавить сервер
olostep/olostep-mcp-server
  1. Каталог MCP
  2. olostep/olostep-mcp-server

olostep/olostep-mcp-server

от olostep
MCP сервер для веб-скрапинга и поиска через Olostep: извлекает контент в разных форматах и выполняет ИИ-поиск с цитатами, пакетно собирает до 10k URL и обходит сайты с построением карты ссылок.
GithubNPMСайт сервера

Olostep MCP Server

Docker Hub npm version License: ISC

A Model Context Protocol (MCP) server implementation that integrates with Olostep for web scraping, content extraction, and search capabilities. To set up Olostep MCP Server, you need to have an API key. You can get the API key by signing up on the Olostep website.

Features

  • Scrape website content in HTML, Markdown, JSON or Plain Text (with optional parsers)
  • Parser-based web search with structured results
  • AI Answers with citations and optional JSON-shaped outputs
  • Batch scraping of up to 10k URLs
  • Autonomous site crawling from a start URL
  • Website URL discovery and mapping (with include/exclude filters)
  • Country-specific request routing for geo-targeted content
  • Configurable wait times for JavaScript-heavy websites
  • Comprehensive error handling and reporting
  • Simple API key configuration

Installation

There are multiple ways to connect to the Olostep MCP Server. Choose the one that best fits your workflow.

☁️ Remote Endpoint (Recommended)

The simplest way — no local installation required. Connect directly to our hosted MCP server:

Часто задаваемые вопросы

Инструменты были проиндексированы:
answers

Отвечает на фактологический вопрос с помощью веб-поиска, опционально оформляет ответ в виде плоского JSON-объекта с полями (возвращает с источниками и цитатами). Лучше всего подходит для ограниченного фактологического ответа (например, год основания компании, текущая цена продукта). Он НЕ надёжен для перечисления актуального списка со страницы (например, «последние N записей в блоге с заголовками и датами»). Для этого используйте create_map или get_webpage_content для страницы и прочитайте результаты.

Параметры
  • jsonstring | object

    Необязательная форма ответа: плоский JSON-объект с нужными полями. Пример: { "book_title": "", "author": "", "release_date": "" }. Держите его плоским. Глубоко вложенные структуры или длинные списки ненадёжны.

  • taskstringобязательный

    Вопрос или задача для ответа с использованием веб-данных.

batch_scrape_urls

Соберите КОНКРЕТНЫЙ, ИЗВЕСТНЫЙ список URL (обычно с разных доменов). Не используйте этот инструмент для сканирования веб-сайтов — если пользователь хочет собрать целый сайт или «просканировать» домен, используйте create_crawl. Используйте этот инструмент только когда у вас уже есть явный список URL для сбора (например, пользователь предоставляет CSV с URL, или вам нужно собрать несвязанные страницы). Немедленно возвращает batch_id. Используйте get_batch_results с batch_id для получения собранного содержимого после завершения пакета (около 5–8 мин). Установите wait_for_completion_seconds для автоматического опроса.

Параметры
  • countrystring

    Необязательный код страны для сбора данных с учётом конкретного местоположения.

  • output_formatenum

    Выберите формат для всех URL. По умолчанию: "markdown".

  • parserstring

    Необязательный идентификатор парсера для специализированного извлечения данных (например, @olostep/google-search).

  • urlsstring | object[]

    Массив URL для извлечения данных — обычные строки URL или объекты с полями "url" и необязательным "custom_id".

  • urls_to_scrapeobject[]

    Псевдоним для urls.

  • wait_before_scrapinginteger

    Время ожидания в миллисекундах перед обработкой каждого URL.

  • wait_for_completion_secondsinteger

    Секунды ожидания завершения пакета. Если значение >0, выполняется опрос каждые 10 секунд до завершения или истечения времени ожидания, затем возвращается статус. Используйте 0, чтобы вернуться немедленно с batch_id (затем вызовите get_batch_results позже). Рекомендуется: 300–600 для пакетов из 50–1 тыс. URL, 0 для более крупных пакетов (опрос отдельно).

create_crawl

ПРЕДПОЧТИТЕЛЬНЫЙ инструмент для обхода веб-сайта. Используйте его, когда пользователь говорит «обойти», «извлечь весь сайт», «получить все страницы с сайта» или хочет несколько страниц с одного домена. Это ПРАВИЛЬНЫЙ инструмент для любой задачи по обходу всего сайта. НЕ ИСПОЛЬЗУЙТЕ `batch_scrape_urls` для обхода - этот инструмент только для случаев, когда у вас уже есть конкретный список несвязанных URL-адресов с разных доменов. Запускает АСИНХРОННЫЙ обход, который автономно находит и извлекает страницы, переходя по ссылкам с начального URL. Возвращает crawl_id - обход выполняется в фоновом режиме. Затем вы ОБЯЗАНЫ вызвать get_crawl_results с полученным crawl_id, чтобы опросить статус и получить извлечённые страницы. НЕ вызывайте get_batch_results с crawl_id - обходы и пакеты — это разные ресурсы.

Параметры
  • countrystring

    Необязательный код страны для сканирования с учётом местоположения.

  • max_pagesinteger

    Максимальное количество страниц для обхода. Установите значение 1, чтобы обработать только начальный URL.

  • output_formatenum

    Формат для извлечённого контента. По умолчанию: "markdown".

  • parserstring

    Необязательный ID парсера для извлечения специализированного контента.

  • start_urlstring

    Псевдоним для url.

  • urlstring

    URL, с которого начинается обход.

create_map

Получает СПИСОК URL-адресов на веб-сайте (только обнаружение URL — НЕ извлекает содержимое). Используйте, когда пользователь хочет получить список ссылок: «покажи все URL-адреса на этом сайте», «составь карту этого сайта» или когда нужно показать пользователю подходящие URL-адреса перед извлечением их подмножества. Предпочитайте create_crawl, если цель — извлечь весь сайт — он обнаруживает И извлекает за один рабочий процесс. Используйте это только тогда, когда сам список URL является результатом.

Параметры
  • exclude_url_patternsstring[]

    Необязательные glob-шаблоны для исключения (например, "/admin/**").

  • include_url_patternsstring[]

    Необязательные glob-паттерны для включения (например, "/blog/**").

  • search_querystring

    Необязательный поисковый запрос для фильтрации URL (например, «blog»).

  • top_ninteger

    Необязательное ограничение количества возвращаемых URL-адресов.

  • urlstring

    Укажите URL веб-сайта, из которого нужно извлечь ссылки.

  • website_urlstring

    Псевдоним для url.

get_batch_results

Получает статус и извлечённое содержимое для пакетной задачи. Передайте batch_id, возвращённый batch_scrape_urls. Если задача завершена, возвращает извлечённое содержимое для каждого URL. Если всё ещё in_progress, возвращает текущий статус, чтобы вы могли вызвать его снова позже.

Параметры
  • batch_idstringобязательный

    batch_id (или id), возвращаемый из batch_scrape_urls.

  • formatsenum[]

    Форматы контента для получения по каждому URL. По умолчанию: ["markdown"].

  • items_limitinteger

    Максимальное количество элементов для получения содержимого (1-100). По умолчанию: 20.

get_crawl_results

Получает статус и собранные страницы для задания обхода. Передайте crawl_id, полученный от create_crawl. Если обход всё ещё выполняется (in_progress), возвращает текущий статус, чтобы вы могли вызвать его снова позже (опрашивайте каждые ~10 секунд). После завершения возвращает список обнаруженных страниц с их собранным содержимым в запрошенных форматах. Это ОБЯЗАТЕЛЬНЫЙ компаньон для create_crawl - create_crawl только запускает асинхронное задание, а этот инструмент - то, как вы на самом деле получаете содержимое.

Параметры
  • crawl_idstringобязательный

    crawl_id (или id), который возвращает create_crawl.

  • cursorinteger

    Курсор пагинации для страниц списков. По умолчанию: 0 (первая страница).

  • formatsenum[]

    Форматы контента для получения на страницу. По умолчанию: ["markdown"].

  • items_limitinteger

    Максимум страниц, с которых получаем контент (1-100). По умолчанию: 20.

  • search_querystring

    Необязательный фильтр, который сортирует или выбирает страницы по релевантности запросу.

get_webpage_content

Получает содержимое веб-страницы в формате Markdown.

Параметры
  • countrystring

    Страна проживания, из которой будет отправлен запрос (например, US, CA, GB). Необязательно.

  • urlstring

    URL веб-страницы для скрейпинга

  • url_to_scrapestring

    Псевдоним для url.

  • wait_before_scrapinginteger

    Время ожидания в миллисекундах перед началом скрапинга.

get_website_urls

Ищет и извлекает релевантные URL-адреса с веб-сайта (только обнаружение URL — НЕ извлекает содержимое). Используйте это только когда пользователь хочет отфильтрованный список ссылок, соответствующий поисковому запросу. НЕ используйте это как подготовку к scraping — если пользователь хочет выполнить scrape/crawl сайта, используйте create_crawl напрямую.

Параметры
  • search_querystringобязательный

    Поисковый запрос для сортировки URL-адресов.

  • urlstringобязательный

    URL веб-сайта для составления карты.

scrape_website

Извлекает содержимое из одного URL. Поддерживает множество форматов и рендеринг JavaScript.

Параметры
  • countrystring

    Необязательный код страны (например, US, GB, CA) для сбора данных с учетом местоположения.

  • llm_extractobject

    Определяет, что извлекать, когда output_format имеет значение "json". Укажите schema (объект JSON-schema с нужными полями, например { "type": "object", "properties": { "title": { "type": "string" } } }) и/или prompt. Требуется для JSON, если не задан parser.

  • output_formatenum

    Формат вывода. Для "markdown" (по умолчанию), "html" и "text" дополнительная настройка не нужна. "json" возвращает СТРУКТУРИРОВАННЫЕ данные и требует либо parser, либо схему llm_extract, описывающую поля. Не запрашивайте "json" сам по себе.

  • parserstring

    Необязательный идентификатор парсера для специализированного извлечения (например, "@olostep/amazon-product").

  • urlstring

    URL веб-сайта, который вы хотите спарсить.

  • url_to_scrapestring

    Псевдоним для url.

  • wait_before_scrapinginteger

    Задержка в миллисекундах перед скрейпингом (0-10000). Пригодится для динамического контента.

search_web

Ищет в интернете по заданному запросу и возвращает структурированные результаты (без ИИ, на основе парсинга).

Параметры
  • countrystring

    Необязательный код страны для локализованных результатов (например, US, GB).

  • querystringобязательный

    Поисковый запрос

1.0.17основная
1.0.16
1.0.15
1.0.14
1.0.13
1.0.12
1.0.11
1.0.10
1.0.9
1.0.8
1.0.7
1.0.5
1.0.4
1.0.3
1.0.2
1.0.1
1.0.0

Выберите клиент, чтобы установить olostep/olostep-mcp-server:

Любой клиент

Конфиг добавления MCP сервера стандартный, обычно он не меняется вообще, поэтому подходит практически к любому ИИ клиенту, поддерживающему MCP.

{
  "mcpServers": {
    "olostep-olostep-mcp-server-6ivk1wnp0y": {
      "command": "npx",
      "args": [
        "-y",
        "olostep-mcp"
      ],
      "env": {
        "OLOSTEP_API_KEY": "YOUR_API_KEY_HERE"
      }
    }
  }
}
CursorCursor

Перейдите по ссылке и сервер автоматически будет добавлен в Cursor. Либо откройте/создайте файл ~/.cursor/mcp.json(%USERPROFILE%\.cursor\mcp.json на Windows) и добавьте конфиг сервера:

{
  "mcpServers": {
    "olostep-olostep-mcp-server-6ivk1wnp0y": {
      "command": "npx",
      "args": [
        "-y",
        "olostep-mcp"
      ],
      "env": {
        "OLOSTEP_API_KEY": "YOUR_API_KEY_HERE"
      }
    }
  }
}
VS Code

Создайте .vscode/mcp.json в проекте (ключ верхнего уровня — servers):

{
  "servers": {
    "olostep-olostep-mcp-server-6ivk1wnp0y": {
      "type": "stdio",
      "command": "npx",
      "args": [
        "-y",
        "olostep-mcp"
      ],
      "env": {
        "OLOSTEP_API_KEY": "YOUR_API_KEY_HERE"
      }
    }
  }
}

Либо добавьте сервер через терминал:

code --add-mcp "{\"name\":\"olostep-olostep-mcp-server-6ivk1wnp0y\",\"type\":\"stdio\",\"command\":\"npx\",\"args\":[\"-y\",\"olostep-mcp\"],\"env\":{\"OLOSTEP_API_KEY\":\"YOUR_API_KEY_HERE\"}}"
ClaudeClaude Desktop

Откройте Settings → Developer → Edit Config — это откроет файл claude_desktop_config.json:

  • macOS: ~/Library/Application Support/Claude/claude_desktop_config.json
  • Windows: %APPDATA%\Claude\claude_desktop_config.json

Впишите сервер и полностью перезапустите Claude Desktop:

{
  "mcpServers": {
    "olostep-olostep-mcp-server-6ivk1wnp0y": {
      "command": "npx",
      "args": [
        "-y",
        "olostep-mcp"
      ],
      "env": {
        "OLOSTEP_API_KEY": "YOUR_API_KEY_HERE"
      }
    }
  }
}
Claude CodeClaude Code

Добавьте сервер одной командой в терминале:

claude mcp add olostep-olostep-mcp-server-6ivk1wnp0y --env OLOSTEP_API_KEY=YOUR_API_KEY_HERE -- npx -y olostep-mcp

Либо через JSON-конфиг:

claude mcp add-json olostep-olostep-mcp-server-6ivk1wnp0y "{\"command\":\"npx\",\"args\":[\"-y\",\"olostep-mcp\"],\"env\":{\"OLOSTEP_API_KEY\":\"YOUR_API_KEY_HERE\"}}"
CodexCodex

Добавьте сервер командой в терминале:

codex mcp add olostep-olostep-mcp-server-6ivk1wnp0y --env OLOSTEP_API_KEY=YOUR_API_KEY_HERE -- npx -y olostep-mcp

Либо вручную в ~/.codex/config.toml(%USERPROFILE%\.codex\config.toml на Windows):

[mcp_servers.olostep-olostep-mcp-server-6ivk1wnp0y]
command = "npx"
args = ["-y", "olostep-mcp"]

[mcp_servers.olostep-olostep-mcp-server-6ivk1wnp0y.env]
OLOSTEP_API_KEY = "YOUR_API_KEY_HERE"
PerplexityPerplexity

MCP доступен подписчикам Perplexity Pro / Max / Enterprise. Локальные серверы — только в приложении для macOS.

  1. Откройте Настройки аккаунта → Connectors.
  2. Установите вспомогательное приложение PerplexityXPC (один раз).
  3. Нажмите Add Connector → вкладка Simple.
  4. В поле Server Name укажите olostep/olostep-mcp-server, а в поле команды запуска — строку ниже:
npx -y olostep-mcp

Нажмите Save и дождитесь статуса Running.

WindsurfWindsurf

Откройте Windsurf Settings → Cascade → MCP Servers или отредактируйте файл ~/.codeium/windsurf/mcp_config.json:

{
  "mcpServers": {
    "olostep-olostep-mcp-server-6ivk1wnp0y": {
      "command": "npx",
      "args": [
        "-y",
        "olostep-mcp"
      ],
      "env": {
        "OLOSTEP_API_KEY": "YOUR_API_KEY_HERE"
      }
    }
  }
}
ClineCline

В панели Cline нажмите иконку MCP Servers → Configure → Configure MCP Servers (или отредактируйте ~/.cline/mcp.json) и добавьте сервер:

{
  "mcpServers": {
    "olostep-olostep-mcp-server-6ivk1wnp0y": {
      "command": "npx",
      "args": [
        "-y",
        "olostep-mcp"
      ],
      "env": {
        "OLOSTEP_API_KEY": "YOUR_API_KEY_HERE"
      },
      "disabled": false,
      "autoApprove": []
    }
  }
}
Continue

Создайте файл в .continue/mcpServers/ (например olostep-olostep-mcp-server-6ivk1wnp0y.yaml) или добавьте блок в config.yaml. MCP работает только в режиме agent:

mcpServers:
  - name: olostep-olostep-mcp-server-6ivk1wnp0y
    command: npx
    args:
      - "-y"
      - "olostep-mcp"
    env:
      OLOSTEP_API_KEY: YOUR_API_KEY_HERE
Zed

Выполните agent: add context server или откройте настройки (zed: open settings file) и добавьте сервер в объект context_servers:

{
  "context_servers": {
    "olostep-olostep-mcp-server-6ivk1wnp0y": {
      "command": "npx",
      "args": [
        "-y",
        "olostep-mcp"
      ],
      "env": {
        "OLOSTEP_API_KEY": "YOUR_API_KEY_HERE"
      }
    }
  }
}

Похожие MCP-сервера

andyliszewski/webcrawl-mcp

andyliszewski/webcrawl-mcp

от andyliszewski

MCP сервер для веб-скрапинга, поиска и обхода сайтов без headless-браузера. Использует бесплатные библиотеки (trafilatura) для извлечения контента, с опциональным Fallback на Firecrawl для JS-тяжёл...

Python⭐ 16
scraperapi/scraperapi-mcp

scraperapi/scraperapi-mcp

от scraperapi

MCP сервер для интеграции с ScraperAPI, позволяющий LLM-агентам легко выполнять веб-скрапинг. Поддерживает рендеринг JavaScript, геотаргетинг и обход блокировок. Полезен разработчикам, работающим с...

Python⭐ 5
ofershap/mcp-server-scraper

ofershap/mcp-server-scraper

от ofershap

MCP-сервер для веб-скрапинга: извлекает чистый контент с URL в виде markdown, ссылки и метаданные. Использует Mozilla Readability, не требует API-ключей и настроек. Бесплатная альтернатива Firecraw...

TypeScript⭐ 6
aparajithn/agent-scraper-mcp

aparajithn/agent-scraper-mcp

от aparajithn

MCP инструмент для веб-скрапинга: извлекает чистый контент в markdown, делает скриншоты, собирает метаданные и ссылки с сайтов, а также ищет в Google. Разработчики AI-агентов используют его для автоматизации сбора данных с веб-страниц. Доступен через REST API с бесплатным лимитом 50 запросов в день.

Python⭐ 8
oxylabs/oxylabs-mcp

oxylabs/oxylabs-mcp

от oxylabs

MCP инструмент для веб-скрапинга: связывает AI-модели с реальными данными, предлагая универсальный скрапер, парсинг Google/Amazon, AI-извлечение, краулинг и браузерный агент с обходом CAPTCHA и geo-доступом.

Python⭐ 104
webscraping-ai/webscraping-ai-mcp-server

webscraping-ai/webscraping-ai-mcp-server

официальный

от webscraping-ai

MCP сервер для веб-скрапинга через WebScraping.AI — извлекает текст, HTML и структурированные данные, задаёт вопросы по содержимому страниц. Поддерживает JavaScript-рендеринг, CSS-селекторы, выбор прокси и эмуляцию устройств. Идеален для интеграции с LLM при сборе информации с сайтов.

JavaScript⭐ 45
© Каталог MCP, 2026. Все права защищены.
Проект не аффилирован с Anthropic и любыми упомянутыми продуктами.
Все названия и торговые марки принадлежат их владельцам.
Контакты для связи: hi@mcp-katalog.ru

Лука Никитин