Comet-ML/Opik-MCP

Перечисляет сущности Opik с необязательными фильтрами и постраничной разбивкой. Вывод: таблица с разделителем «|», содержащая id, name и несколько специфичных для сущности столбцов, плюс нижний колонтитул пагинации, когда существуют дополнительные страницы. Когда применяются фильтры, первая строка повторяет применённые условия. Используйте read(), чтобы получить полные сведения о любом конкретном элементе. Типы уровня проекта требуют своего родителя: - trace: project_id или project_name - span: project_id или project_name (ищет спаны по всему проекту) - thread: project_id или project_name - agent_insights_issue: project_id или project_name (диагностические проблемы, по умолчанию открытые; столбцы: severity, status, total_occurrences, latest_count, last_seen) - score_name: project_id или project_name (имена оценок обратной связи проекта - оценки trace, span и thread вместе, с пагинацией, без id) - online_rule: project_id или project_name (правила автоматизации, оценивающие трейсы этого проекта) - project_metric: project_id или project_name, плюс metric_type - одна метрика во времени. Строки - временные интервалы, поэтому page/size/sort отклоняются. - dataset_item: dataset_id или experiment_ids для сравнения прогонов по отдельности. Фильтруйте собственные записи набора данных по data.<key>, full_data, tags, source, trace_id (без сортировки); read('dataset_item', id) - это одна целая запись. - prompt_version: prompt_id Типы уровня рабочего пространства (project, experiment, prompt, dataset) принимают необязательный фильтр подстроки name. trace, span, thread, experiment и dataset_item принимают строку OQL filters; все, кроме dataset_item, также принимают sort, а trace, span, thread принимают окно since/until и полнотекстовый search.

Читает любую сущность Opik по ID, имени или URI opik://. UUID id обходится в один вызов API. Имя также работает для project, experiment, prompt и dataset: два вызова, а имя, общее для нескольких записей, возвращает их как кандидатов для повторного запроса по id. Особые случаи: - project: возвращает {project, summary, vocabulary, contains, url} - показатели за неделю по сравнению с 7 предыдущими днями (только SDK-трафик, как показано на карточках Logs, хотя интерфейс открывается за 30 дней), имена скорингов и ключи использования для фильтрации, а также последние на текущий момент эксперимент, версию датасета, версию промпта или запуск. since/until сдвигают окно summary; остальное соответствует текущему состоянию. - trace: возвращает {trace, spans, spansTruncated} со встроенными до 200 спанов, их тела сокращены, а spanBodies показывает, что именно было отсечено. - prompt: возвращает {prompt, versions, versionsTruncated} с включением до 100 версий. - thread: возвращает {thread, messages, messagesTruncated, messageBodies} - каждое сообщение содержит вход/выход трассы одного хода (turn) и trace_id для read('trace', id). Тела сообщений сокращены, включая собственные первое и последнее сообщения треда, поскольку это копии первого и последнего хода. Требуется область проекта: передайте ссылку/URI на тред или project_id/project_name. - Встроенная коллекция, длина которой превышает допустимую, устанавливает свой флаг …Truncated и добавляет moreSpans / moreMessages / moreVersions: количество и точный вызов list(...), который продолжает с того места, где остановилась встроенная часть. - agent_insights_issue: возвращает {issue, example_trace_ids, details, url, trace_url_template} - issue из Diagnostics с причиной и предлагаемым исправлением, дедуплицированные id трасс, в которых она проявляется (откройте одну через read('trace', id)), разбивку по дням, ссылку на страницу Diagnostics для этой проблемы и шаблон для ссылки на любую примерную трассу (обе ссылки опускаются, если URL Opik или рабочая область сессии неизвестны). Требует область проекта, как и thread. - Все остальные: плоская запись из /v1/private/{entity}/{id}. Вывод начинается с однострочного заголовка [read: …] (entity_type, id, размер в токенах), за которым следует…

Загружает один навык Opik agent — те же навыки, которые Opik публикует для кодинг-агентов. Используй его, когда нужный навык ещё не загружен в контекст. КОГДА ВЫЗЫВАТЬ: перед инструментированием, оценкой или отладкой с помощью Opik, когда нужный навык из списка ниже ещё НЕ загружен — нет локальной копии в проекте и ничего не подгружалось ранее в рамках этой сессии. Если навык уже есть, читай то, что у тебя есть, а не запрашивай его заново. Сопоставь задачу пользователя с навыком: - opik: «почему мои трейсы не отображаются», «как добавить метаданные в спан», «как версионировать промпт» — любой запрос по SDK. Для инструментирования используй opik-instrument. - opik-compare: «сработало ли моё исправление», «сравни с базовым уровнем», «запусти регрессионный набор», «почему качество упало», «какие кейсы деградировали», «сравни эти два эксперимента». - opik-diagnose: «что сломано в проде», «какие трейсы требуют внимания», «найди падающие или медленные трейсы», «проведи триаж моего агента». - opik-evaluate: «оцени моего агента», «измерь качество», «собери eval», «напиши LLM-судью», «насколько хорош мой RAG» — первый эксперимент с оценками. - opik-explain: «почему этот трейс упал», «объясни этот трейс», «отладь этот трейс», «почему мой агент медленный или ошибается». - opik-instrument: «инструментируй мой код», «добавь Opik-трейсинг», «добавь наблюдаемость», «отслеживай моего агента». - opik-online-eval: «оценивай продакшн-трейсы», «отслеживай галлюцинации в проде», «выведи этого судью в live», «настрой правило онлайн-оценки». - opik-optimize: «оптимизируй этот промпт», «улучши мой системный промпт», «настрой промпт под мой датасет», «запусти оптимизатор промптов». - opik-test: «преврати это в тест», «добавь регрессионный кейс для этого трейса», «сделай так, чтобы это не повторилось», «зафиксируй этот сбой». - opik-verify: «безопасно ли это для релиза», «можно ли мне влить это», «go/no-go по этому изменению», «заблокируй этот релиз» — вердикт ship/hold на основе политики релиза. skill_name принимает любую из этих форм: - opik — сам навык - <skill>/references/<file>.md — один документ внутри навыка; SKILL.md…

Верните JSON Schema, OAuth scope и один проверенный пример для полезной нагрузки data операции записи или, для list.trace / list.span / list.thread / list.experiment, фильтруемые поля спискового инструмента с их операторами и его сортируемые поля. Чистый поиск: без вызова бэкенда.

Создаёт, обновляет или аннотирует сущности Opik. Поле operation выбирает, какую пару сущность/глагол вызвать; data содержит полезную нагрузку для этой операции (один объект или массив до 1000 для пакетной обработки). Операции: - trace.create: Регистрирует один трейс (или пакет). Задаёт родителя для спанов/оценок/комментариев. (пакет допустим) - trace.update: Завершает или изменяет существующий трейс по id. (пакет допустим) - span.create: Регистрирует один спан в существующем трейсе (или пакет).; обязательно: trace_id (пакет допустим) - score.create: Прикрепляет числовую оценку обратной связи к трейсу, спану или потоку.; обязательно: target, target_id (пакет допустим) - comment.create: Прикрепляет комментарий в свободной форме к трейсу, спану или потоку.; обязательно: target, target_id - prompt_version.save: Сохраняет новую версию промпта. Создаёт промпт по имени, если он отсутствует; BE автоматически назначает коммит, если он не указан. - dataset.create: Создаёт датасет. Для оценочного набора необходимо передать type='test_suite' (элементы содержат проверки и выполняются как тесты); по умолчанию это обычный датасет. - dataset_item.upsert: Выполняет upsert элементов в датасете или тестовом наборе; data - это конверт {dataset_name|dataset_id, items: [...]}.; обязательно: dataset_name, dataset_id - experiment.create: Создаёт эксперимент, привязанный к датасету или тестовому набору.; обязательно: dataset_name, dataset_id - experiment_item.create: Прикрепляет строки trace + dataset_item к эксперименту. Всегда конверт-массив.; обязательно: experiment_id, dataset_item_id, trace_id (пакет допустим) - thread.close: Закрывает поток (помечает его неактивным/завершённым). Необходимо передать thread_id + project (project_name или project_id). - thread.open: Открывает ранее закрытый поток (помечает его активным). Необходимо передать thread_id + project (project_name или project_id). - agent_insights_issue.resolve: Помечает проблему Diagnostics (Agent Insights) как решённую: ошибка, которую она группирует, уже обработана. Проблема остаётся в списке проблем по умолчанию и отображается со статусом 'resolved'. Необходимо передать issue_id + project_id или project_name. Делайте это только тогда, когда пользователь просит: решена ли ошибка, решать ему, а не…