AutomateLab-tech/citation-intelligence

Проверяет, могут ли основные AI-краулеры (GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, CCBot, Google-Extended, Applebot-Extended, Bytespider, Meta-ExternalAgent, плюс User-Agent для сбора в реальном времени) получить URL. Разбирает robots.txt и выполняет live-запрос GET с User-Agent каждого бота. Выявляет блокировки robots.txt И ограничения по User-Agent, которые нарушают цитирование AI.

Генерирует файл llms.txt (спецификация https://llmstxt.org) из sitemap. Разбирает sitemap.xml и вложенные индексы, группирует URL-адреса по корневому пути и выводит документ Markdown с H1+описание+списки ссылок по разделам. fetch_titles=true извлекает <title> для каждого URL-адреса (медленнее, но вывод богаче).

Выполняет глубокую проверку schema.org для URL. Разбирает каждый блок JSON-LD и узел микроразметки, проверяет обязательные поля для каждого @type (Article требует headline+author+datePublished, FAQPage — mainEntity, HowTo — step и т.д.) и отмечает отсутствующие поля и некорректный JSON-LD. Возвращает список проблем и вердикт valid/invalid. Используется для исправления ошибок структурированных данных, которые predict_citation отмечает, но не может объяснить.

Извлекает sitemap.xml (или индекс карты сайта) и запускает predict_citation для каждого URL. Возвращает результаты, отсортированные от наихудших к лучшим. Выявляет системные проблемы на всём сайте за один проход. Не требуется ни одного ключа движка.

Сопоставляет карту сайта с кэшем цитирований. Для каждого URL из карты сайта сообщает, содержится ли он в кэшированных цитированиях (и сколько запросов/движков его процитировало). Обратная функция audit_sitemap: не «насколько цитируем каждый URL», а «был ли каждый URL уже процитирован». Кэш должен быть предварительно заполнен с помощью check_citations или run_panel.

Предлагает недостающие дополнения JSON-LD для URL. Загружает страницу, обнаруживает существующие типы схемы и возвращает готовые к вставке шаблоны для типов, которые отсутствуют, но на которые указывает содержимое страницы (BlogPosting по og:type=article или подписям авторов, FAQPage по парам вопрос-ответ, HowTo по нумерованным шагам, BreadcrumbList по вложенным путям, Organization на домашних страницах). Шаблоны предварительно заполняются из метаданных страницы, если это возможно; поля с пометкой FILL: необходимо заполнить вручную.

Возвращает URL-адреса, указанные AI-движком (Perplexity, Claude, ChatGPT, Gemini или Bing) для запроса. Используйте это, когда агент или пользователь хочет увидеть, на какие источники опирается AI-поисковик при формировании ответов. Требуется хотя бы один ключ API движка; автоматически выбирает первый доступный.

Извлекает процитированный фрагмент из сырого ответа AI-движка для каждой цитаты. Вызывает check_citations, затем для каждого возвращённого URL находит первое упоминание в raw_answer и возвращает контекстное окно вместе с ближайшим цитируемым отрезком или содержащим предложением. Позволяет увидеть, почему движок сослался на URL, а не просто что он это сделал. Возвращает 'not found' для движков без raw_answer (Bing, Brave).

Оценивает свежесть страниц, процитированных для запроса. Вызывает check_citations, затем собирает dateModified для каждого процитированного URL, возвращает оценку recency_score от 0 до 100 (halflife=365d) плюс категорию свежести для каждого URL (fresh/current/stale/ancient/unknown). Выявляет запросы, где ИИ цитирует устаревший контент - возможность предоставить более свежий.

Оценивает вероятность цитирования URL на основе публичных сигналов (наличие ссылок в Wikipedia, разметка schema.org, /llms.txt, упоминания на GitHub и Reddit, гигиена canonical, HTTPS). LLM не используется, всё эвристика. Возвращает оценку от 0 до 100, уровень, разбивку сигналов и ранжированные исправления.

Распределяет запрос по нескольким AI-движкам и сообщает консенсус между движками для каждого URL. Возвращает каждый уникальный цитируемый URL со списком движков, которые его процитировали, плюс список consensus_urls (URL, процитированные ВСЕМИ движками). Высокий engine_count = сильный сигнал консенсуса между движками; engine_count=1 = специфичный для одного движка.

Сообщает показатель цитируемости за период для панели из сохранённых снимков. Только чтение; только кэш: не совершает вызовов API к каким-либо AI-движкам и не расходует квоту API. Читает файлы снимков из <config>/snapshots/<panel>/. Возвращает: snapshots[] (одна запись на каждый вызов panel_run, каждая с меткой времени и показателем цитируемости), а также дельты на запрос (добавлено/потеряно/без изменений), сравнивая первый и последний снимок. Возвращает пустую серию, если снимков ещё нет. Не требует аутентификации. Без ограничений по частоте. Используйте panel_run для накопления снимков; используйте since для ограничения временного окна.

Распределяет запрос по поисковым системам и собирает цитирования по зарегистрированным доменам (не по URL). Возвращает топ доменов конкурентов, ранжированных по межсистемному консенсусу, с разбивкой по каждой системе и лучшими URL для каждого домена. Используется для определения канонического набора конкурентов для запроса — доменов, которые каждая система считает авторитетными.

Запускает predict_citation для 2-10 URL и возвращает сравнительную таблицу сигналов, а также список сигналов, по которым URL расходятся. Используется для сравнения вашего URL с наиболее цитируемыми конкурентами по тому же запросу.

Сквозной конкурентный срез для одного запроса. Вызывает check_citations, чтобы получить указанные URL, затем запускает compare_domains для your_url по сравнению с лучшими упомянутыми конкурентами. Возвращает ваш балл, средний балл конкурентов и разрыв.

Проверяет, цитируется ли домен AI-движком в кластере запросов. Возвращает для каждого запроса наличие, позицию и сводку по частоте цитирования. Используется для оценки видимости бренда, продукта или контентного сайта в AI-поиске.

Перечисляет запросы, по которым указанный домен цитируется, извлечённые из локального кэша. Формирует корпус, сначала вызывая check_citations или am_i_cited; cited_for запрашивает его без траты API-бюджета.

Вычисляет разницу cited_for между двумя временными окнами для домена. Возвращает запросы, которые появились (цитируются сейчас, но не цитировались до baseline_until) и запросы, которые исчезли (цитировались раньше, но не цитируются с current_since). Только кэш, без обращения к API. Используйте для отслеживания изменения цитируемости с течением времени после публикации или миграции контента.

Запускает сохранённую панель через am_i_cited и добавляет снимок с меткой времени. Побочные эффекты: выполняет внешние API-вызовы к настроенному AI-движку (расходует квоту API); записывает один файл снимка на диск по пути <config>/snapshots/<panel>/<iso>.json. Требуется как минимум один ключ API движка (тот же, что и для am_i_cited). Возвращает для каждого запроса наличие цитирования и сводку citation_rate для запуска. Сначала используйте panel_track для создания панели; используйте citations_trend для чтения накопленного тренда после нескольких запусков.

Сохраняет, загружает или выводит список именованных панелей запросов. Панель — это постоянный набор запросов, за которыми вы хотите следить с течением времени (например, editorial-watchlist). Используйте action=save с queries[] для создания, action=load для чтения, action=list для перечисления. Панели находятся в <config>/panels/<name>.json.

Готовый отчёт по видимости в ИИ для домена по набору запросов. Формирует вызовы check_citations для каждого запроса (или сохранённой панели) и возвращает метрики, которые трекеры видимости в ИИ продают как дашборд, за один запрос: частота упоминаний (citation_rate), доля голоса по сравнению с конкурентами, средняя позиция при цитировании и тональность бренда из текста ответа. Побочные эффекты: один вызов check_citations на запрос (тратит квоту API для некэшированных запросов; кэшированные запросы бесплатны). Возвращает структурированную сводку + top_domains + per_query, а также отформатированный отчёт в Markdown (include_markdown=true), подходящий для публичной страницы. Укажите queries[] или имя панели. Выбор движка такой же, как в check_citations.

Проверяет, показывает ли Google AI Overview для запроса, и какие URL он цитирует. Использует SerpAPI (бесплатный тариф: 100/месяц). Установите SERPAPI_KEY.

Определяет местоположение каждого указанного URL в исходном тексте ответа AI. Вызывает check_citations, находит первое упоминание URL (или имени хоста) каждой цитаты в raw_answer и распределяет по позиции символа на раннюю, среднюю и позднюю трети. Показывает, цитируется ли ваш URL в начале или зарыт ближе к концу. Возвращает 'unknown' для движков без raw_answer (Bing, Brave).

Объединяет статистику запросов Bing Webmaster Tools с am_i_cited для каждого запроса. Выявляет запросы, где домен хорошо ранжируется в Bing, но не цитируется в AI — побеждает ближайший редакционный источник. Индекс Bing служит основой для обоснования Copilot/ChatGPT/Perplexity, поэтому разрыв в ранжировании Bing — это разрыв в цитировании LLM. Требует BING_WEBMASTER_API_KEY (Bing Webmaster Tools -> Settings -> API Access).

Объединяет данные Google Search Console с am_i_cited по каждому запросу. Выявляет запросы, по которым домен хорошо ранжируется в Google, но не цитируется в AI — ближайшие редакционные выигрыши. Требует учётные данные сервисного аккаунта GCP (credentials_path или переменная окружения GOOGLE_APPLICATION_CREDENTIALS).

Выводит список статей Википедии, ссылающихся на указанный домен. Только чтение. Один HTTPS GET-запрос к API Википедии (en.wikipedia.org/w/api.php?action=query&list=exturlusage). Авторизация не требуется, API-ключи не нужны, ограничения по частоте запросов не превышают политику добросовестного использования публичного API Википедии (примерно 1 запрос/секунду). Возвращает заголовки статей и URL. Обратные ссылки из Википедии: самый сильный сигнал для обучающих корпусов LLM. Домен, процитированный в Википедии, с гораздо большей вероятностью появляется в обучающих данных и пулах цитирования ИИ. Используйте lang для запросов к неанглийским разделам Википедии.