Стабильность ответов ИИ: что показали 968 запусков промптов

Ответы ИИ на один и тот же промпт меняются часто, причём источники, на которые они ссылаются, меняются куда сильнее, чем бренды, которые они упоминают. Мы проанализировали 968 повторных запусков по 42 парам «промпт + движок», которые отслеживались в AI Rank Lab с 13 февраля по 14 октября 2026 года. В 18 парах из 42 (42,9 %) ответ хотя бы раз переключался между «бренд упомянут» и «бренд не упомянут», а два последовательных запуска одного и того же промпта в среднем (по медиане) совпадали по цитируемым доменам всего на 0,41 (коэффициент Жаккара). Проще говоря: один запуск — это выборка, а не измерение.

Это исследование на собственных данных. Ниже — цифры по каждому движку, методика и её ограничения, сравнение наших результатов с опубликованными работами Profound, Otterly, SparkToro и исследователей из Университета Санкт-Галлена, а также практический ответ на два вопроса, с которыми сталкивается любой отчёт о видимости в ИИ: как часто отслеживать и сколько запусков нужно, чтобы доверять изменению.

Что именно мы измеряли и как?

Мы измеряли, насколько меняется ответ на один и тот же промпт в одном и том же движке от запуска к запуску. Данные взяты из запусков по расписанию и ручных запусков промптов в трекере видимости бренда AI Rank Lab: он прогоняет промпты пользователя через ИИ-движки и фиксирует, был ли упомянут отслеживаемый бренд и на какие домены сослался ответ. Раскрытие информации: AI Rank Lab — наш продукт, и эти данные собраны с его помощью.

Параметр исследования	Значение
Период	Успешные запуски с 2026-02-13 по 2026-10-14
Критерий включения	Только пары «промпт + движок» с 5 и более успешными запусками
Выборка	42 пары «промпт + движок», 968 запусков (в среднем около 23 запусков на пару)
Движки с подходящими парами	Gemini (13 пар), ChatGPT (11), Claude (11), Perplexity (6), Google AI Overview (1). У Google AI Mode не нашлось ни одной пары с 5+ запусками.
Бренды	Взяты из 12 отслеживаемых доменов, в основном это бренды из маркетинга и ПО. Ни один домен клиентов здесь не называется.
Типичный срок наблюдения за парой	Медиана 25,3 дня для ChatGPT, Claude и Gemini; 12,8 дня для Perplexity; 37,6 дня для единственной пары AI Overview

Четыре метрики, каждая считается для пары, а затем сводится в медиану (или в количество) по всем парам:

• Смена упоминания: запуски пары не совпадали в том, был ли упомянут бренд. Пары без смены относятся либо к «упомянут всегда», либо к «не упомянут ни разу».
• Жаккар для последовательных запусков: для каждой пары соседних запусков — число общих цитируемых доменов, делённое на число разных доменов, процитированных хотя бы одним из них. 1,0 означает идентичные списки источников; 0 — полное отсутствие пересечения. Мы усредняем это значение внутри пары, а затем берём медиану по парам.
• Домены, присутствующие в каждом запуске: доля всех доменов, когда-либо процитированных парой, которые встретились в каждом её запуске.
• Разные домены за все запуски и за один запуск: сколько разных доменов пара процитировала за всю историю, делённое на среднее число доменов в одном запуске.

Запуски идут через API каждого движка с включённым веб-поиском или привязкой к поиску (grounding), а не через потребительские чат-приложения, и в инструкции для оценки указан отслеживаемый бренд, чтобы ответ можно было оценить. Оба решения важны для интерпретации, и мы вернёмся к ним в разделе об ограничениях.

Как часто меняются ответы ИИ на один и тот же промпт?

Достаточно часто, чтобы один запуск почти ничего не говорил. Из всех 42 пар в 18 (42,9 %) упоминание бренда хотя бы раз менялось, 19 пар упоминали бренд в каждом запуске, а 5 — ни разу. Что касается источников, два соседних запуска одного промпта имели общими медианно 41 % доменов, процитированных хотя бы одним из них. То есть примерно три домена из пяти в любых двух последовательных ответах встречались только в одном из них. Это главный вывод о стабильности ответов ИИ в нашей выборке: вердикт по бренду нестабилен для заметного меньшинства промптов, а список источников — почти для всех.

Ключевые результаты по движкам

Движок	Пары	Запуски	Пары со сменой упоминания	Упомянут всегда / ни разу	Медианный Жаккар соседних запусков	Медианная доля доменов в каждом запуске	Разные домены за все запуски к одному запуску
Perplexity	6	224	4 (66,7 %)	2 / 0	0,59	3,8 %	2,43×
ChatGPT	11	239	6 (54,5 %)	1 / 4	0,54	7,7 %	2,29×
Claude	11	226	5 (45,5 %)	6 / 0	0,53	10,0 %	2,61×
Gemini	13	274	3 (23,1 %)	10 / 0	0,26	2,1 %	3,50×
Google AI Overview*	1	5	0 (0 %)	0 / 1	0,41	3,3 %	2,63×
Все движки	42	968	18 (42,9 %)	19 / 5	0,41	3,5 %	2,68×

*Одна пара с пятью запусками — это эпизод, а не вывод. Мы показываем её только для полноты картины. Общий Жаккар (0,41) ниже, чем у трёх из четырёх основных движков, потому что это медиана по всем 42 парам вместе, и 13 пар Gemini с низким пересечением тянут её вниз.

Какой ИИ-движок даёт самые стабильные ответы?

Зависит от того, какую стабильность вы имеете в виду, и в наших данных два её вида указывали в противоположные стороны.

• Самые стабильные источники: Perplexity. Его соседние запуски имели общими медианно 0,59 цитируемых доменов — больше, чем у любого другого движка. Одна оговорка: пары Perplexity запускались плотнее — около 37 запусков каждая за медианные 12,8 дня против примерно 20–22 запусков за медианные 25,3 дня у остальных движков. Запуски, близкие по времени, меньше успевают «уплыть», и это может приукрашивать его показатель.
• Самый стабильный вердикт по бренду: Gemini. Лишь в 3 из 13 его пар (23,1 %) упоминание хоть раз менялось, а в 10 бренд упоминался в каждом запуске. Мы считаем, что это в основном отражает набор промптов, который случайно отслеживался в Gemini, а не свойство самого Gemini, и наша выборка не позволяет разделить эти два фактора.
• Наименее стабильные источники: Gemini. Медианный Жаккар 0,26, лишь 2,1 % цитируемых доменов присутствовали в каждом запуске, а разных доменов со временем набиралось в 3,5 раза больше, чем в типичном запуске. Gemini продолжал называть бренд, но менял страницы, на которые ссылался.
• Наибольшая доля «постоянных» источников: Claude. Медианно 10 % доменов, которые Claude цитировал для пары, появлялись в каждом запуске — это лучший результат среди четырёх основных движков.
• ChatGPT оказался посередине по пересечению источников (0,54), и у него больше всего пар, где бренд не упоминался ни разу (4 из 11).

Упоминания бренда стабильнее, чем цитируемые источники?

Да. В наших данных 24 пары из 42 (19 «упомянут всегда» плюс 5 «ни разу») давали одинаковый вердикт по бренду в каждом запуске, тогда как каждый запуск «переживали» медианно лишь 3,5 % цитируемых доменов. Опубликованные работы с этим согласны: исследование стабильности Otterly показало, что от 12 % до 19 % брендов появлялись лишь в один день из 30-дневного окна, тогда как среди цитируемых источников таких было до 67 %, а работа из Санкт-Галлена зафиксировала коэффициент Жаккара по брендам день ко дню 0,45–0,59 против 0,34–0,42 по источникам. Если вы отчитываетесь одной цифрой, доля упоминаний бренда за окно стабильнее любого снимка «какие страницы процитировали». В нашем материале о упоминаниях бренда и цитированиях объясняется, почему для них нужны отдельные KPI.

Почему ИИ-движки по-разному отвечают на один и тот же вопрос?

Потому что ответ ИИ — это конец цепочки шагов, и почти на каждом шаге есть либо случайность, либо меняющиеся входные данные. В таблице ниже — основные причины и то, может ли система отслеживания их контролировать.

Причина вариативности	Что меняется	Подтверждение	Может ли трекер это контролировать?
Сэмплирование токенов и недетерминированность инференса	Формулировки, какие бренды названы, порядок	Thinking Machines получили 80 уникальных ответов на 1 000 идентичных запросов с температурой 0	Нет. Потребительские приложения не дают к этому доступа.
Поиск и query fan-out (веер подзапросов)	Какие страницы загружаются и цитируются	Google сообщает, что AI Overviews и AI Mode могут отправлять несколько связанных поисковых запросов по подтемам	Нет. Его можно только многократно замерять.
Изменения индекса и веба	Появляются новые страницы, старые выпадают	Profound зафиксировал смену от 40,5 % до 59,3 % цитируемых доменов за один месяц	Нет. Это реальные изменения, которые вы как раз хотите видеть.
Обновления моделей	Скачкообразные изменения и в упоминаниях, и в источниках	По данным Profound, дрейф вырос до 70–90 % с января по июль	Частично. Логируйте версии моделей и отмечайте выкатки.
Персонализация, местоположение, память	Что видит конкретный пользователь	В исследованиях эти факторы фиксируют, у реальных пользователей — нет	Частично. Зафиксируйте местоположение и настройки в трекинге.
Разные продукты одной компании	Весь набор источников	Ahrefs обнаружил пересечение цитирований AI Mode и AI Overviews всего в 13,7 %	Да. Отслеживайте каждую поверхность отдельно.

Сэмплирование. Языковые модели выбирают каждый следующий токен из распределения вероятностей, поэтому один и тот же промпт может дать разный текст. Даже нулевая температура не делает облачные модели полностью воспроизводимыми: Thinking Machines Lab 1 000 раз прогнала один и тот же промпт с температурой 0 на Qwen3-235B и получила 80 уникальных ответов. Причину нашли в ядрах инференса, результат которых зависит от размера батча, а значит, и от нагрузки на сервер.

Поиск. Ответы с поиском зависят от того, что движок загрузит. Собственная документация Google о функциях ИИ говорит, что AI Overviews (обзоры от ИИ) и AI Mode (режим ИИ) могут использовать «query fan-out», отправляя несколько связанных поисковых запросов по подтемам, и что эти две функции «могут использовать разные модели и методы, поэтому набор ответов и ссылок в них будет различаться». Небольшие различия в том, какие подзапросы выполняются и что они возвращают, меняют список цитирований. Механизм подробно разобран в нашем материале о query fan-out.

Реальные изменения со временем. Часть движения вполне настоящая: публикуются новые страницы, меняются позиции, обновляются модели. Исследование волатильности Profound показало, что для одних и тех же промптов от 40 % до 60 % цитируемых доменов сменились с июня по июль 2025 года, а более позднее исследование «периода полураспада» цитирований выяснило, что медианная цитируемая страница теряет половину своей пиковой доли цитирований в течение 11 дней после пика. Наш период охватывает восемь месяцев, а версии моделей не были зафиксированы, так что часть наблюдаемой смены — это как раз реальный дрейф, а не шум.

Разные поверхности. Даже внутри одной компании продукты различаются. Ahrefs сравнил 540 000 пар запросов и обнаружил, что AI Mode и AI Overviews ссылались на одни и те же URL лишь в 13,7 % случаев, хотя по смыслу их ответы совпадали в 86 % случаев.

Как наши результаты соотносятся с Profound, Otterly, SparkToro и Санкт-Галленом?

В целом они согласуются: списки источников сильно меняются, присутствие бренда стабильнее, а отдельные снимки вводят в заблуждение. В таблице опубликованные цифры приведены рядом. Метрики различаются, поэтому сравнивайте направления, а не десятые доли.

Исследование	Кто опубликовал	Выборка	Сопоставимый вывод
AI Rank Lab (это исследование)	Вендор (мы)	42 пары «промпт + движок», 968 запусков, февраль — октябрь 2026	Жаккар цитируемых доменов для соседних запусков 0,41; в 42,9 % пар менялось упоминание бренда
Don't Measure Once (Шульте, Блекер, Кауфманн)	Исследователи Университета Санкт-Галлена	32 промпта на швейцарском немецком, 4 движка, 45–46 дней в январе — марте 2026	Жаккар источников день ко дню 0,34–0,42; повторы в пределах 24 часов 0,32–0,43; Жаккар по брендам 0,45–0,59
Исследование стабильности Otterly AI	Вендор	520 промптов, 7 движков, 252 407 ответов, ежедневные запуски	ChatGPT и AI Mode день ко дню повторно использовали около 26 % источников, Perplexity — около 75 %
Profound: волатильность ИИ-поиска	Вендор	Около 80 000 промптов на платформу, июнь и июль 2025	За месяц сменилось от 40,5 % (Perplexity) до 59,3 % (AI Overviews) цитируемых доменов
Yotpo: сколько живёт цитирование в ИИ?	Вендор	Промпты из e-commerce, еженедельно в течение 14+ недель	Недельная стабильность цитирований 0,30 (ChatGPT) и 0,24 (Gemini)
SparkToro и Gumshoe (по данным Search Engine Journal)	SparkToro вместе с вендором трекинга	2 961 запуск промптов волонтёрами в ChatGPT, Claude, Google AI	Одинаковый список брендов — реже 1 раза из 100; присутствие бренда стабильнее, чем порядок

Все исследования в этой таблице, кроме работы из Санкт-Галлена, выпущены компаниями, которые продают отслеживание видимости в ИИ, включая нас. Об этом стоит помнить, когда кто-то из них, в том числе мы, приходит к выводу, что вам нужно больше трекинга.

В чём мы сходимся. Наше общее пересечение источников 0,41 укладывается в диапазон Санкт-Галлена (0,34–0,42 день ко дню). То, что Perplexity — самый стабильный по источникам движок, совпадает с данными Otterly (около 75 % повторного использования день ко дню) и Profound (наименьший месячный дрейф — 40,5 %). То, что присутствие бренда стабильнее источников, совпадает с Otterly, Санкт-Галленом и SparkToro.

В чём расходимся. В повторах в пределах 24 часов у исследователей из Санкт-Галлена самым стабильным по источникам оказался Gemini (Жаккар 0,505), а Perplexity — одним из наименее стабильных (0,282), то есть ровно наоборот по сравнению с нашим рейтингом. Их запуски шли на немецком, с серверов в Швейцарии, в течение нескольких дней; наши — в основном англоязычные промпты из маркетинга и ПО, растянутые на недели. Рейтинги стабильности движков не переносятся между рынками и конфигурациями, и это повод строить собственный базовый уровень для каждого движка, а не заимствовать чужой, в том числе наш.

А что с Peec AI? По состоянию на 18 октября 2026 года мы не нашли опубликованных данных Peec AI о стабильности при повторных запусках. Его страница с тарифами описывает охват трекинга как число отслеживаемых промптов, умноженное на число активных моделей и частоту отслеживания, а обзор видимости — как отслеживаемый ежедневно, что подразумевает тот же подход с окнами.

Можно ли доверять одному снимку видимости в ИИ?

Нет. В нашей выборке 43 % пар «промпт + движок» дали бы разный вердикт по бренду в зависимости от того, на какой запуск вы случайно посмотрели, а типичный отдельный запуск показывал гораздо меньше половины доменов, которые пара процитировала за всё время (соотношение разных доменов 2,68× означает, что один запуск захватывал примерно 37 % итогового пула источников пары). Волонтёры SparkToro выяснили, что ChatGPT и ИИ Google возвращали один и тот же список брендов реже одного раза из 100 запусков. Скриншот доказывает, что ответ однажды был таким. О вашей видимости он ничего не говорит.

Что должны показывать отчёты о видимости в ИИ вместо снимков?

Доли за окно. Замените вопрос «нас упомянули?» на «в какой доле запусков нас упоминали за последние N дней и из скольких запусков?». Вот схема отчётности, которую мы рекомендуем и на которой собраны данные этого исследования:

1. Зафиксируйте набор промптов. Держите стабильный список промптов для каждого движка, чтобы знаменатель не «плавал». Смена промптов меняет метрику сильнее, чем большинство реальных сдвигов: тест Profound с запуском раз в день показал, что выбор портфеля промптов влиял на долю цитирований примерно на порядок сильнее, чем дрейф день ко дню.
2. Запускайте по расписанию. Стандарт по умолчанию — ежедневно. В AI Rank Lab запуски промптов по расписанию делают это автоматически для ChatGPT, Claude, Gemini и Perplexity и сохраняют каждый запуск — именно так и накопились данные для этой статьи.
3. Считайте долю упоминаний за окно. Запуски с упоминанием, делённые на общее число запусков, за 14–28 дней, с числом запусков рядом с показателем.
4. Отдельно считайте долю цитирований. Отслеживайте, какие из ваших URL цитируются за всё окно, а не в одном запуске. Список будет меняться — смотрите на долю, а не на состав. Один из способов это делать — наш трекер цитирований.
5. Не смешивайте движки. Наши движки расходились в том, какой вид стабильности им свойственен. Сводный балл это скрывает.
6. Отмечайте изменения моделей и продуктов. Когда движок выкатывает новую модель, отметьте дату, чтобы скачок не приняли за успех или провал контента.
7. Реагируйте на устойчивые изменения. Считайте изменение реальным, если оно держится два окна подряд и проявляется больше чем в одном промпте.

Если ваша команда пользуется одной цифрой видимости в ИИ, наше руководство о том, как измеряется AEO-оценка, объясняет, что должно стоять за ней.

Сколько запусков нужно, чтобы доверять изменению?

Больше, чем подразумевает большинство дашбордов, особенно на уровне отдельного промпта. Доля упоминаний — это пропорция, поэтому её неопределённость уменьшается с ростом числа запусков. В таблице используется стандартное нормальное приближение для доли упоминаний 50 % (худший случай) и предполагается, что запуски независимы. Реальные запуски коррелируют между собой, так что считайте эти значения оптимистичной нижней границей.

Запусков в окне	Примерная погрешность одной доли (95 %)	Изменение между двумя окнами, необходимое, чтобы выйти за пределы шума	Пример
5	±44 п. п.	около 62 п. п.	Один промпт, запущенный в течение 5 дней
10	±31 п. п.	около 44 п. п.	Один промпт, запущенный в течение 10 дней
20	±22 п. п.	около 31 п. п.	Один промпт, ежедневно около 3 недель (близко к нашему среднему 23 запуска на пару)
30	±18 п. п.	около 25 п. п.	Один промпт, ежедневно в течение месяца
60	±13 п. п.	около 18 п. п.	Два промпта на одну тему, ежедневно в течение месяца
100	±10 п. п.	около 14 п. п.	Тематический кластер промптов, по несколько запусков каждый

Отсюда два вывода. Во-первых, если доля упоминаний одного промпта выросла с 50 % до 65 % между двумя трёхнедельными окнами, это вполне укладывается в шум. Во-вторых, правильный способ получить больше запусков — обычно больше промптов, а не больше повторов одного промпта. Работа из Санкт-Галлена приходит к похожему выводу на своих данных: стандартная ошибка доли обнаружения отдельного бренда опускалась ниже 0,10 при 7 запусках на промпт, а скользящее окно снижало ошибку по бренду ниже 0,10 за 10 дней и ниже 0,05 за 24 дня. Поэтому авторы рекомендуют окна от двух до четырёх недель.

Тесты вендоров по поводу ежедневных повторов расходятся, но измеряют они другое. Profound обнаружил, что запуски раз в день отличались от запусков десять раз в день всего примерно на 2 пункта по видимости (78,7 % против 80,4 %) на 753 промптах, а Meikai выяснил, что 1 запуск в день давал тот же совокупный сигнал, что и 10, на 500 промптах. Оба результата получены на уровне портфеля, за ними сотни промптов. Противоречие снимается просто: при большом наборе промптов достаточно одного запуска в день; чтобы диагностировать один промпт, нужно много его запусков.

Сколько промптов нужно отслеживать?

Столько, чтобы особенности отдельного промпта не определяли итоговую цифру, а на практике это десятки на каждый движок, а не горстка. Otterly обнаружил, что при 10 промптах 90 % результатов по охвату бренда разбросаны где угодно от 39 % до 71 %; при 100 промптах диапазон сужался до 51–60 %, то есть разброс был примерно на 73 % меньше. Авторы из Санкт-Галлена видели, что Жаккар на уровне промптов в рамках одной кампании колеблется от менее 0,2 до более 0,8. Наша выборка показывает тот же разброс: внутри одного движка одни пары не менялись ни разу, а другие менялись многократно.

Наш практический минимум: не меньше 50 промптов на движок для показателя на уровне бренда, сгруппированных в тематические кластеры, и 100+, если вы хотите сравнивать движки или сегменты. Это экспертная оценка с опорой на перечисленные исследования, а не то, что наша выборка из 42 пар может доказать сама по себе. Выбор промптов важен не меньше, чем их количество.

Как часто нужно отслеживать видимость в ИИ?

Запускайте промпты ежедневно и отчитывайтесь по скользящим окнам в 14–28 дней. Частота запусков и частота отчётности — разные решения: запуски должны быть достаточно частыми, чтобы заполнить окно выборками, а отчёты — достаточно редкими, чтобы в окне набралось достаточно запусков и цифра что-то значила. В наших данных пары ChatGPT, Claude и Gemini набирали около 20–22 запусков за медианные 25 дней, то есть почти по запуску в день, и даже при этом у долей упоминаний отдельных промптов оставались широкие доверительные интервалы.

Ситуация	Частота запусков	Окно отчётности	На что смотреть
Постоянный мониторинг бренда	Ежедневно	Скользящие 28 дней, просмотр раз в неделю или месяц	Доля упоминаний и доля цитирований по каждому движку
Запуск продукта, ребрендинг или PR-кризис	Ежедневно, больше промптов по затронутой теме	Скользящие 14 дней	Доля упоминаний и тональность по затронутым промптам
Тестирование изменения контента	Ежедневно по целевым промптам	Как минимум 14 дней до и 14 дней после	Доля цитирований изменённого URL за окно
Ограниченный бюджет	Раз в неделю допустимо, если расширить окно	8–12 недель	Только направление доли упоминаний
Диагностика одного важного промпта	Несколько запусков в день	1–2 недели	Какие источники и конкуренты повторяются

Общую картину того, что и зачем отслеживать, даёт наше руководство по отслеживанию видимости в ИИ.

Каковы ограничения этого исследования?

Их немало, и они задают рамки того, какие выводы из него можно делать.

• Маленькая и неравномерная выборка. 42 пары и 968 запусков по 12 отслеживаемым доменам с перекосом в сторону маркетинга и ПО. У Perplexity 6 пар, у Google AI Overview 1, у Google AI Mode — ни одной. Проценты по движку на 6–13 парах могут сильно сдвинуться из-за одной пары.
• Промпты отобраны не случайно. Промпты выбирали пользователи, чтобы отслеживать собственные бренды. Высокое число пар «упомянут всегда» у Gemini (10 из 13), скорее всего, отражает именно этот набор.
• API, а не потребительские приложения. Запуски шли через API каждого движка с включённым веб-поиском или grounding и без персонализации. Авторизованный пользователь может видеть больше или меньше вариативности.
• Бренд назван в инструкции для оценки. Это позволяет трекеру оценить ответ, но может повышать абсолютную долю упоминаний по сравнению с пустым чатом. Поэтому мы фокусируемся на стабильности, а не на том, как часто упоминаются бренды.
• Автоматическая оценка. Упоминания и цитируемые домены определяются автоматически по тексту ответа и его ссылкам; мы не проверяли каждый запуск вручную.
• Неравномерные интервалы и незафиксированные модели. Запуски шли не по фиксированному графику (Perplexity запускался плотнее всех), а версии моделей не были зафиксированы на весь период, поэтому в наблюдаемой смене шум смешан с реальным дрейфом.
• Домены, а не URL, и без учёта позиций. Пересечение считается по цитируемым доменам, что мягче, чем пересечение на уровне URL, а позицию в ответе мы не анализировали.
• Без тестов значимости. Это описательные медианы и количества. Не переносите их на другие отрасли, языки или движки.

Мы повторим этот анализ по мере роста выборки и опубликуем обновлённые цифры с теми же определениями.

Итог

Стабильность ответов ИИ настолько низкая, что любой отдельный запуск может ввести в заблуждение, а списки источников меняются гораздо сильнее, чем упоминания брендов. Решение — не больше скриншотов, а фиксированный набор промптов, ежедневные запуски и доли, посчитанные за окна от двух до четырёх недель, отдельно по каждому движку и с указанием числа запусков. Если хотите получить такую схему, не собирая её самостоятельно, отслеживание видимости бренда в AI Rank Lab запускает ваши промпты по расписанию и хранит каждый запуск, так что вы видите тренды, а не снимки.