macrocosm-os/macrocosmos-mcp

Создаёт датасет из собранных данных до завершения 7-дневной задачи. Используйте это, когда у вас достаточно данных и вы не хотите ждать полный период сбора. ВНИМАНИЕ: Создание датасета ОСТАНОВИТ краулер и снимет его с регистрации в сети. После этой операции краулер больше не будет собирать новые данные. Параметры: - crawler_id (str, ОБЯЗАТЕЛЬНЫЙ): ID краулера, из которого создаётся датасет (Получите это из ответа get_gravity_task_status - ищите поле 'crawler_ids') - max_rows (int, по умолчанию: 10000): Максимальное количество строк, которое можно включить в датасет - email (str, необязательный): Адрес электронной почты для уведомления, когда датасет будет готов - redirect_url (str, необязательный): URL, на который нужно перенаправить из уведомления по электронной почте Возвращает: - dataset_id: Уникальный идентификатор для отслеживания создания датасета - Статус создания и информация о прогрессе (всего 10 шагов) Пример: build_dataset( crawler_id="crawler-0-multicrawler-9f518ae4-xxxx", max_rows=10000, email="user@example.com" )

Отменяет сборку датасета или удаляет завершённый датасет. Параметры: - dataset_id (str, ОБЯЗАТЕЛЬНО): ID датасета для отмены/удаления Возвращает: - Сообщение об успехе или ошибке Пример: cancel_dataset(dataset_id="dataset-71e97cfa-xxxx-xxxx-xxxx-33cd91be9028")

Отменяет выполняющуюся задачу Gravity и останавливает сбор данных. Параметры: - gravity_task_id (str, REQUIRED): ID задачи Gravity, которую нужно отменить Возвращает: - Сообщение об успехе или ошибке Пример: cancel_gravity_task(gravity_task_id="multicrawler-9f518ae4-xxxx-xxxx-xxxx-8b73d7cd4c49")

Создаёт задачу Gravity для крупномасштабного сбора данных из X (Twitter) или Reddit. Используйте это для сбора больших наборов данных на протяжении длительного времени (до 7 дней). Для быстрых запросов (до 1000 результатов) используйте вместо этого query_on_demand_data. Задача регистрируется в сети в течение 20 минут и собирает данные в течение 7 дней. Вы получите уведомление по электронной почте, когда набор данных будет готов к скачиванию. Параметры: - tasks (List[dict], ОБЯЗАТЕЛЬНЫЙ): Список объектов задач, каждый содержит: * platform (str): 'x' или 'reddit' * topic (str): Хэштег/сабреддит для отслеживания - Для X: ДОЛЖНО начинаться с '#' или '$' (например, '#ai', '$BTC') - простые ключевые слова отклоняются! - Для Reddit: имя сабреддита (например, 'r/MachineLearning') * keyword (str, необязательный): Дополнительный фильтр по ключевому слову внутри темы - Фильтрует посты, оставляя только те, что содержат это ключевое слово - Пример: topic='#Bittensor', keyword='dTAO' -> только посты #Bittensor, упоминающие 'dTAO' - name (str, необязательный): Имя задачи (помогает организовать несколько задач) - email (str, необязательный): Адрес электронной почты для уведомления, когда набор данных готов - redirect_url (str, необязательный): URL для перенаправления из уведомления по электронной почте Возвращает: - gravity_task_id: Уникальный идентификатор для отслеживания и управления задачей Примеры: 1. Базовый сбор: create_gravity_task( tasks=[{"platform": "x", "topic": "#ai"}], name="AI Tweets" ) 2. С фильтром по ключевому слову: create_gravity_task( tasks=[{"platform": "x", "topic": "#Bittensor", "keyword": "dTAO"}], name="Bittensor dTAO mentions" ) 3. Несколько платформ: create_gravity_task( tasks=[ {"platform": "x", "topic": "#ai", "keyword": "LLM"}, {"platform": "reddit", "topic": "r/MachineLearning"} ], name="AI Data Collection", email="user@example.com" )

Получает статус сборки набора данных и ссылки для скачивания, когда они готовы. Параметры: - dataset_id (str, ОБЯЗАТЕЛЬНО): ID набора данных для проверки Возвращает: - Статус сборки (Running, Completed и т. д.) - Этапы выполнения (всего 10 шагов) - Когда завершено: URL-адреса для скачивания Parquet-файлов - Метаданные файла (размер, количество строк, дата истечения) Пример: get_dataset_status(dataset_id="dataset-71e97cfa-xxxx-xxxx-xxxx-33cd91be9028")

Получает статус задачи Gravity и показывает, сколько данных уже собрано. Параметры: - gravity_task_id (str, ОБЯЗАТЕЛЬНО): ID задачи gravity для проверки - include_crawlers (bool, по умолчанию: True): Включать ли подробную информацию о краулерах Установите True, чтобы увидеть records_collected и bytes_collected для каждого краулера Возвращает: - Статус задачи (Running, Completed, Pending и т. д.) - Имя задачи и время запуска - Список ID краулеров (нужен для build_dataset) - При include_crawlers=True: records_collected, bytes_collected по каждому краулеру Пример: get_gravity_task_status(gravity_task_id="multicrawler-9f518ae4-xxxx-xxxx-xxxx-8b73d7cd4c49")

Получает данные социальных сетей в реальном времени из X (Twitter) и Reddit через сеть Macrocosmos SN13. ВАЖНО: Этому инструменту нужен параметр 'source' со значением 'X' или 'REDDIT' (с учётом регистра). Параметры: - source (str, ОБЯЗАТЕЛЬНО): Платформа данных - должна быть 'X' или 'REDDIT' - usernames (List[str], необязательно): До 5 имён пользователей для отслеживания. * Для X: символ '@' необязателен (например, ['elonmusk', '@spacex'] - оба варианта работают) * НЕ доступно для Reddit - keywords (List[str], необязательно): До 5 ключевых слов/хэштегов для поиска * Для X: любые ключевые слова или хэштеги (например, ['AI', 'crypto', '#bitcoin']) * Для Reddit: названия субреддитов (например, ['r/astronomy', 'space']) или 'r/all' для всех субреддитов - start_date (str, необязательно): Дата/время начала в формате YYYY-MM-DD или ISO * Примеры: '2024-04-01' или '2024-01-01T00:00:00Z' * По умолчанию - 24 часа назад от текущего времени, если не указано - end_date (str, необязательно): Дата/время окончания в формате YYYY-MM-DD или ISO * Примеры: '2024-04-25' или '2024-06-03T23:59:59Z' * По умолчанию - текущее время, если не указано - limit (int, необязательно): Максимальное число возвращаемых результатов (диапазон: 1-1000, по умолчанию: 10) - keyword_mode (str, необязательно): Как сопоставлять ключевые слова - 'any' (по умолчанию) или 'all' * 'any': возвращает посты, совпадающие с ЛЮБЫМ из ключевых слов * 'all': возвращает посты, совпадающие со ВСЕМИ ключевыми словами Поведение по умолчанию (когда даты не указаны): Инструмент ищет данные за последние 24 часа (от текущего времени до отметки 24 часа назад). Примеры использования: 1. Получает последние твиты от конкретных пользователей: query_on_demand_data(source='X', usernames=['@elonmusk', '@spacex'], limit=20) 2. Ищет твиты по ключевым словам за последние 24 часа: query_on_demand_data(source='X', keywords=['AI', 'machine learning'], limit=30) 3. Отслеживает конкретных пользователей И фильтрует по ключевым словам: query_on_demand_data(source='X', usernames=['@nasa'], keywords=['space', 'mars'], limit=20) 4. Отслеживает субреддиты Reddit: query_on_demand_data(source='REDDIT', keywords=['r/astronomy', 'space'], limit=50) 5. Ищет…