Stabilité des réponses IA : ce que montrent 968 exécutions de prompts

Les réponses de l'IA à un même prompt changent souvent, et les sources qu'elles citent bougent bien plus que les marques qu'elles mentionnent. Sur 968 exécutions répétées de 42 paires prompt-moteur suivies dans AI Rank Lab entre le 13 février et le 14 octobre 2026, 18 des 42 paires (42,9 %) ont basculé au moins une fois entre « marque mentionnée » et « marque absente », et deux exécutions consécutives du même prompt ne partageaient en médiane que 0,41 de leurs domaines cités (indice de Jaccard). En clair : une exécution isolée est un échantillon, pas une mesure.

Il s'agit d'une étude fondée sur nos données propriétaires (first-party). Vous y trouverez les chiffres par moteur, la méthode et ses limites, la comparaison de nos résultats avec les travaux publiés par Profound, Otterly, SparkToro et des chercheurs de l'Université de Saint-Gall, ainsi qu'une réponse concrète aux deux questions sur lesquelles bute tout rapport de visibilité IA : à quelle fréquence faut-il mesurer, et combien d'exécutions faut-il avant de croire à un changement ?

Qu'avons-nous mesuré, et comment ?

Nous avons mesuré à quel point la réponse à un même prompt, sur un même moteur, change d'une exécution à l'autre. Les données proviennent d'exécutions de prompts programmées et manuelles dans le suivi de visibilité de marque d'AI Rank Lab, qui lance les prompts d'un utilisateur sur les moteurs d'IA et enregistre si la marque suivie a été mentionnée et quels domaines la réponse a cités. Transparence : AI Rank Lab est notre produit, et c'est lui qui a collecté ces données.

Paramètre de l'étude	Valeur
Période	Exécutions réussies entre le 13/02/2026 et le 14/10/2026
Critère d'inclusion	Uniquement les paires prompt + moteur comptant 5 exécutions réussies ou plus
Échantillon	42 paires prompt-moteur, 968 exécutions (environ 23 exécutions par paire en moyenne)
Moteurs avec des paires retenues	Gemini (13 paires), ChatGPT (11), Claude (11), Perplexity (6), Google AI Overview (1). Google AI Mode n'avait aucune paire avec 5 exécutions ou plus.
Marques	Issues de 12 domaines suivis, surtout des marques du marketing et du logiciel. Aucun domaine client n'est cité ici.
Durée type par paire	Médiane de 25,3 jours pour ChatGPT, Claude et Gemini ; 12,8 jours pour Perplexity ; 37,6 jours pour l'unique paire AI Overview

Quatre indicateurs, chacun calculé par paire puis résumé par une médiane (ou un décompte) sur l'ensemble des paires :

• Bascule de mention : les exécutions de la paire ne s'accordaient pas toutes sur la présence de la marque. Les paires qui n'ont jamais basculé sont soit « toujours mentionnée », soit « jamais mentionnée ».
• Jaccard entre exécutions consécutives : pour chaque couple d'exécutions successives, le nombre de domaines cités en commun divisé par le nombre de domaines distincts cités par l'une ou l'autre. 1,0 signifie des listes de sources identiques ; 0, aucun recouvrement. Nous en faisons la moyenne au sein d'une paire, puis prenons la médiane sur l'ensemble des paires.
• Domaines présents à chaque exécution : la part de tous les domaines jamais cités par une paire qui apparaissaient dans absolument toutes ses exécutions.
• Domaines distincts sur l'ensemble des exécutions vs par exécution : le nombre de domaines distincts cités par la paire sur tout son historique, divisé par le nombre moyen cité par une seule exécution.

Les exécutions passent par l'API de chaque moteur avec la recherche web ou le grounding activé, et non par les applications de chat grand public ; par ailleurs, l'instruction de notation nomme la marque suivie pour que la réponse puisse être évaluée. Ces deux choix pèsent sur l'interprétation, et nous y revenons dans la section sur les limites.

À quelle fréquence les réponses de l'IA changent-elles pour un même prompt ?

Assez souvent pour qu'une exécution unique ne vous apprenne pas grand-chose. Sur les 42 paires, 18 (42,9 %) ont basculé au moins une fois sur la mention de la marque, 19 l'ont mentionnée à chaque exécution et 5 ne l'ont jamais mentionnée. Côté sources, deux exécutions successives du même prompt partageaient en médiane 41 % des domaines cités par l'une ou l'autre : en gros, trois domaines sur cinq figurant dans deux réponses consécutives n'apparaissaient que dans l'une des deux. C'est le résultat central de notre échantillon sur la cohérence des réponses de l'IA : le verdict sur la marque est instable pour une forte minorité de prompts, et la liste des sources l'est pour presque tous.

Les principaux résultats par moteur

Moteur	Paires	Exécutions	Paires dont la mention a basculé	Toujours / jamais mentionnée	Jaccard médian entre exécutions consécutives	% médian de domaines cités à chaque exécution	Domaines distincts sur l'ensemble vs par exécution
Perplexity	6	224	4 (66,7 %)	2 / 0	0,59	3,8 %	×2,43
ChatGPT	11	239	6 (54,5 %)	1 / 4	0,54	7,7 %	×2,29
Claude	11	226	5 (45,5 %)	6 / 0	0,53	10,0 %	×2,61
Gemini	13	274	3 (23,1 %)	10 / 0	0,26	2,1 %	×3,50
Google AI Overview*	1	5	0 (0 %)	0 / 1	0,41	3,3 %	×2,63
Tous moteurs	42	968	18 (42,9 %)	19 / 5	0,41	3,5 %	×2,68

*Une seule paire de cinq exécutions relève de l'anecdote, pas du résultat. Nous l'affichons uniquement par souci d'exhaustivité. Le Jaccard tous moteurs confondus (0,41) est inférieur à celui de trois des quatre principaux moteurs, car il s'agit de la médiane des 42 paires réunies, et les 13 paires de Gemini à faible recouvrement la tirent vers le bas.

Quel moteur d'IA donne les réponses les plus cohérentes ?

Tout dépend du type de cohérence dont on parle, et dans nos données, les deux types allaient dans des directions opposées.

• Sources les plus stables : Perplexity. Ses exécutions successives partageaient en médiane 0,59 de leurs domaines cités, le score le plus élevé de tous les moteurs. Une réserve : les paires Perplexity ont été exécutées de manière plus dense, environ 37 exécutions chacune sur une médiane de 12,8 jours, contre 20 à 22 exécutions environ sur une médiane de 25,3 jours pour les autres moteurs. Des exécutions plus rapprochées dans le temps ont moins de chances de dériver, ce qui peut flatter son score.
• Verdict sur la marque le plus stable : Gemini. Seules 3 de ses 13 paires (23,1 %) ont basculé, et 10 ont mentionné la marque à chaque exécution. Selon nous, cela reflète surtout le mélange de prompts qui se trouvait suivi sur Gemini plutôt qu'une propriété de Gemini, et notre échantillon ne permet pas de distinguer les deux.
• Sources les moins stables : Gemini. Un Jaccard médian de 0,26, seulement 2,1 % des domaines cités présents à chaque exécution, et 3,5 fois plus de domaines distincts dans le temps que dans une exécution type. Gemini continuait de nommer la marque tout en changeant les pages vers lesquelles il renvoyait.
• Plus forte part de sources « permanentes » : Claude. En médiane, 10 % des domaines cités par Claude pour une paire revenaient à chaque exécution, le taux le plus élevé des quatre principaux moteurs.
• ChatGPT se situait au milieu pour le recouvrement des sources (0,54) et comptait le plus de paires où la marque n'était jamais mentionnée (4 sur 11).

Les mentions de marque sont-elles plus stables que les sources citées ?

Oui. Dans nos données, 24 des 42 paires (19 toujours mentionnée plus 5 jamais mentionnée) ont rendu le même verdict sur la marque à chaque exécution, alors que seuls 3,5 % des domaines cités en médiane ont survécu à toutes les exécutions. Les travaux publiés vont dans le même sens : l'étude de stabilité d'Otterly a constaté que 12 % à 19 % des marques n'apparaissaient qu'un seul jour sur une fenêtre de 30 jours, contre jusqu'à 67 % des sources citées, et l'article de Saint-Gall a mesuré un Jaccard jour après jour de 0,45 à 0,59 pour les marques, contre 0,34 à 0,42 pour les sources. Si vous ne publiez qu'un seul chiffre, un taux de mention de marque sur une fenêtre est plus stable que n'importe quel instantané du type « quelles pages ont été citées ». Notre article sur les mentions de marque face aux citations explique pourquoi les deux méritent des KPI distincts.

Pourquoi les moteurs d'IA donnent-ils des réponses différentes à la même question ?

Parce qu'une réponse d'IA est l'aboutissement d'une chaîne d'étapes, et que presque chaque étape comporte une part d'aléatoire ou une donnée d'entrée qui bouge. Le tableau ci-dessous liste les principales causes et indique si un dispositif de suivi peut les maîtriser.

Cause de variation	Ce qu'elle modifie	Preuve	Un outil de suivi peut-il la maîtriser ?
Échantillonnage des tokens et non-déterminisme de l'inférence	Formulation, marques citées, ordre	Thinking Machines a obtenu 80 complétions uniques sur 1 000 requêtes identiques à température 0	Non. Les applications grand public ne l'exposent pas.
Récupération et query fan-out	Pages récupérées et citées	Google indique que les AI Overviews et AI Mode peuvent lancer plusieurs recherches associées sur différents sous-thèmes	Non. On ne peut que l'échantillonner de façon répétée.
Évolutions de l'index et du web	De nouvelles pages entrent, d'anciennes sortent	Profound a mesuré que 40,5 % à 59,3 % des domaines cités changeaient en un mois	Non. C'est un vrai changement, que vous voulez voir.
Mises à jour des modèles	Ruptures nettes sur les mentions comme sur les sources	Profound fait état d'une dérive montant jusqu'à 70 % à 90 % de janvier à juillet	En partie. Consignez les versions des modèles et annotez les déploiements.
Personnalisation, localisation, mémoire	Ce que voit chaque utilisateur	Les études les maintiennent constantes ; les vrais utilisateurs, non	En partie. Fixez la localisation et les réglages dans le suivi.
Produits différents d'une même entreprise	L'ensemble des sources	Ahrefs a trouvé 13,7 % de citations communes entre AI Mode et les AI Overviews	Oui. Suivez chaque surface séparément.

L'échantillonnage. Les modèles de langage choisissent chaque token suivant dans une distribution de probabilités, si bien qu'un même prompt peut produire des textes différents. Même une température réglée à zéro ne rend pas les modèles hébergés totalement reproductibles : Thinking Machines Lab a lancé 1 000 fois le même prompt à température 0 sur Qwen3-235B et obtenu 80 complétions uniques, un phénomène qu'il attribue à des noyaux d'inférence dont les résultats dépendent de la taille des lots, donc de la charge des serveurs.

La récupération. Les réponses appuyées sur la recherche dépendent de ce que le moteur va chercher. La documentation de Google sur les fonctionnalités d'IA indique que les AI Overviews (les aperçus générés par l'IA dans les résultats) et AI Mode peuvent recourir au « query fan-out », en lançant plusieurs recherches associées sur différents sous-thèmes, et que ces deux fonctionnalités « peuvent utiliser des modèles et des techniques différents, de sorte que l'ensemble des réponses et des liens qu'elles affichent variera ». De petites différences dans les sous-requêtes lancées, et dans ce qu'elles renvoient, modifient la liste des citations. Notre article sur le query fan-out détaille ce mécanisme.

Le vrai changement dans le temps. Une partie des mouvements est bien réelle : de nouvelles pages sont publiées, les classements bougent, les modèles sont mis à jour. L'étude de volatilité de Profound a montré que 40 % à 60 % des domaines cités changeaient entre juin et juillet 2025 pour les mêmes prompts, et son étude ultérieure sur la demi-vie des citations a établi que la page citée médiane perd la moitié de sa part de citations maximale dans les 11 jours qui suivent son pic. Notre fenêtre couvre huit mois et les versions des modèles n'étaient pas figées : une partie de la rotation que nous observons relève donc de cette dérive réelle, et non du bruit.

Des surfaces différentes. Même au sein d'une seule entreprise, les produits diffèrent. Ahrefs a comparé 540 000 paires de requêtes et constaté qu'AI Mode et les AI Overviews ne citaient les mêmes URL que dans 13,7 % des cas, alors que leurs réponses étaient sémantiquement proches dans 86 % des cas.

Comment ces résultats se comparent-ils à ceux de Profound, Otterly, SparkToro et Saint-Gall ?

Dans l'ensemble, ils concordent : les listes de sources tournent fortement, la présence des marques est plus stable, et les instantanés isolés induisent en erreur. Le tableau met les chiffres publiés côte à côte. Attention, les indicateurs diffèrent : comparez les tendances, pas les décimales.

Étude	Éditeur	Échantillon	Résultat comparable
AI Rank Lab (cette étude)	Éditeur de logiciel (nous)	42 paires prompt-moteur, 968 exécutions, de février à octobre 2026	Jaccard des domaines cités entre exécutions consécutives : 0,41 ; 42,9 % des paires ont basculé sur la mention de la marque
Don't Measure Once (Schulte, Bleeker, Kaufmann)	Chercheurs de l'Université de Saint-Gall	32 prompts en allemand de Suisse, 4 moteurs, 45 à 46 jours entre janvier et mars 2026	Jaccard des sources jour après jour de 0,34 à 0,42 ; répétitions à moins de 24 heures de 0,32 à 0,43 ; Jaccard des marques de 0,45 à 0,59
Étude de stabilité d'Otterly AI	Éditeur de logiciel	520 prompts, 7 moteurs, 252 407 réponses, exécutions quotidiennes	ChatGPT et AI Mode réutilisaient environ 26 % des sources d'un jour à l'autre, Perplexity environ 75 %
Profound : volatilité de la recherche IA	Éditeur de logiciel	Environ 80 000 prompts par plateforme, juin vs juillet 2025	De 40,5 % (Perplexity) à 59,3 % (AI Overviews) des domaines cités ont changé en un mois
Yotpo : combien de temps dure une citation IA ?	Éditeur de logiciel	Prompts e-commerce, chaque semaine pendant plus de 14 semaines	Stabilité hebdomadaire des citations de 0,30 (ChatGPT) et 0,24 (Gemini)
SparkToro et Gumshoe (via Search Engine Journal)	SparkToro avec un éditeur d'outil de suivi	2 961 exécutions de prompts par des volontaires sur ChatGPT, Claude et l'IA de Google	Même liste de marques moins d'une fois sur 100 ; présence des marques plus stable que leur ordre

Toutes les études de ce tableau, à l'exception de l'article de Saint-Gall, viennent d'entreprises qui vendent du suivi de visibilité IA, y compris la nôtre. Mieux vaut le garder en tête chaque fois que l'une d'elles, nous compris, conclut que vous avez besoin de davantage de suivi.

Là où nous concordons. Notre recouvrement global des sources de 0,41 se situe dans la fourchette de Saint-Gall (0,34 à 0,42 jour après jour). Le fait que Perplexity soit le moteur aux sources les plus stables rejoint Otterly (environ 75 % de réutilisation d'un jour à l'autre) et Profound (dérive mensuelle la plus faible, à 40,5 %). Le fait que la présence des marques soit plus stable que les sources rejoint Otterly, Saint-Gall et SparkToro.

Là où nous divergeons. Dans les répétitions à moins de 24 heures de Saint-Gall, Gemini était le moteur aux sources les plus stables (Jaccard 0,505) et Perplexity parmi les moins stables (0,282), soit l'inverse de notre classement. Leurs exécutions étaient en allemand, depuis des serveurs suisses, sur quelques jours ; les nôtres sont surtout des prompts en anglais sur le marketing et le logiciel, étalés sur plusieurs semaines. Les classements de stabilité des moteurs ne se transposent pas d'un marché ou d'un dispositif à l'autre : raison de plus pour construire votre propre référence par moteur plutôt que d'emprunter celle de quelqu'un d'autre, la nôtre comprise.

Et Peec AI ? Au 18 octobre 2026, nous n'avions trouvé aucun chiffre publié par Peec AI sur la stabilité des exécutions répétées. Sa page de tarifs décrit la couverture du suivi comme le nombre de prompts suivis multiplié par les modèles actifs et la fréquence de suivi, et sa vue d'ensemble de la visibilité comme suivie quotidiennement, ce qui suppose la même approche par fenêtres.

Un instantané de visibilité IA est-il fiable ?

Non. Dans notre échantillon, 43 % des paires prompt-moteur auraient donné un verdict différent sur la marque selon l'exécution sur laquelle vous seriez tombé, et une exécution type affichait nettement moins de la moitié des domaines que la paire a cités au fil du temps (le ratio de domaines distincts de ×2,68 signifie qu'une exécution captait environ 37 % du réservoir de sources final de la paire). Les volontaires de SparkToro ont constaté que ChatGPT et l'IA de Google renvoyaient la même liste de marques moins d'une fois sur 100. Une capture d'écran prouve qu'une réponse a existé une fois. Elle ne dit rien de votre visibilité.

Que doit montrer un rapport de visibilité IA à la place des instantanés ?

Des taux calculés sur des fenêtres. Remplacez « avons-nous été mentionnés ? » par « dans quelle part des exécutions avons-nous été mentionnés sur les N derniers jours, et sur combien d'exécutions ? ». Voici le dispositif de reporting que nous recommandons, et celui dont proviennent ces données :

1. Figez la liste de prompts. Gardez une liste stable de prompts par moteur pour que le dénominateur ne bouge pas. Changer les prompts modifie l'indicateur bien plus que la plupart des vrais mouvements ; le test « une fois par jour » de Profound a montré que le choix du portefeuille de prompts faisait varier la part de citations d'environ un ordre de grandeur de plus que la dérive d'un jour à l'autre.
2. Exécutez selon un calendrier. Le rythme quotidien est la norme. Dans AI Rank Lab, les exécutions programmées de prompts s'en chargent automatiquement pour ChatGPT, Claude, Gemini et Perplexity et conservent chaque exécution : c'est ainsi que se sont accumulées les données de cet article.
3. Publiez le taux de mention sur une fenêtre. Les exécutions avec mention divisées par le total des exécutions, sur 14 à 28 jours, avec le nombre d'exécutions affiché à côté du taux.
4. Publiez la part de citations séparément. Suivez lesquelles de vos URL sont citées sur l'ensemble de la fenêtre, pas sur une seule exécution. Attendez-vous à ce que la liste tourne ; regardez la part, pas la composition. Notre suivi des citations est une façon de le faire.
5. Séparez les moteurs. Nos moteurs ne présentaient pas le même type de stabilité. Un score agrégé le masque.
6. Annotez les changements de modèles et de produits. Quand un moteur déploie un nouveau modèle, notez la date pour qu'une rupture ne soit pas prise pour un succès ou un échec de contenu.
7. N'agissez que sur les changements durables. Considérez un changement comme réel lorsqu'il se maintient sur deux fenêtres consécutives et apparaît sur plus d'un prompt.

Si votre équipe s'appuie sur un indicateur unique de visibilité IA, notre guide sur la façon dont se mesure un score AEO explique ce qui devrait se trouver derrière.

Combien d'exécutions faut-il avant de croire à un changement ?

Davantage que ne le laissent entendre la plupart des tableaux de bord, surtout à l'échelle d'un seul prompt. Un taux de mention est une proportion : son incertitude diminue avec le nombre d'exécutions qui le sous-tendent. Le tableau utilise l'approximation normale classique pour un taux de mention de 50 % (le pire cas) et suppose des exécutions indépendantes. Les vraies exécutions sont corrélées : considérez ces valeurs comme des planchers optimistes.

Exécutions dans la fenêtre	Marge approx. à 95 % sur un taux	Écart nécessaire entre deux fenêtres pour dépasser le bruit	Exemple
5	± 44 points	environ 62 points	Un prompt, exécuté sur 5 jours
10	± 31 points	environ 44 points	Un prompt, exécuté sur 10 jours
20	± 22 points	environ 31 points	Un prompt, exécuté chaque jour pendant environ 3 semaines (proche de notre moyenne de 23 par paire)
30	± 18 points	environ 25 points	Un prompt, exécuté chaque jour pendant un mois
60	± 13 points	environ 18 points	Deux prompts sur le même sujet, chaque jour pendant un mois
100	± 10 points	environ 14 points	Un cluster thématique de prompts, plusieurs exécutions chacun

Deux conséquences. D'abord, un taux de mention qui passe de 50 % à 65 % pour un seul prompt entre deux fenêtres de trois semaines reste largement dans le bruit. Ensuite, la façon propre d'obtenir plus d'exécutions consiste généralement à ajouter des prompts, pas à répéter davantage le même. L'article de Saint-Gall arrive à une conclusion similaire à partir de ses propres données : l'erreur standard d'un taux de détection par marque passait sous 0,10 à partir de 7 exécutions par prompt, et une fenêtre glissante faisait descendre l'erreur par marque sous 0,10 à 10 jours et sous 0,05 à 24 jours, d'où la recommandation des auteurs de travailler sur des fenêtres de deux à quatre semaines.

Les tests des éditeurs ne sont pas d'accord sur les répétitions quotidiennes, mais ils mesurent autre chose. Profound a constaté que des exécutions une fois par jour donnaient une visibilité à environ 2 points près de celle obtenue avec dix exécutions par jour (78,7 % contre 80,4 %) sur 753 prompts, et Meikai a trouvé qu'une exécution par jour donnait le même signal agrégé que 10 sur 500 prompts. Ce sont dans les deux cas des résultats à l'échelle d'un portefeuille, avec des centaines de prompts derrière. La réconciliation est simple : avec un grand ensemble de prompts, une fois par jour suffit ; pour diagnostiquer un prompt précis, il en faut de nombreuses exécutions.

Combien de prompts faut-il suivre ?

Assez pour que les bizarreries d'un prompt isolé ne fassent pas bouger le chiffre, ce qui veut dire en pratique des dizaines par moteur, pas une poignée. Otterly a constaté qu'avec 10 prompts, 90 % de ses résultats de couverture de marque se situaient n'importe où entre 39 % et 71 % ; avec 100 prompts, la fourchette se resserrait à 51 % à 60 %, soit environ 73 % de variation en moins. Les auteurs de Saint-Gall ont vu le Jaccard par prompt aller de moins de 0,2 à plus de 0,8 au sein d'une même campagne. Notre propre échantillon montre la même dispersion : au sein d'un même moteur, certaines paires n'ont jamais basculé quand d'autres basculaient à répétition.

Notre plancher pratique : au moins 50 prompts par moteur pour un chiffre au niveau de la marque, regroupés en clusters thématiques, et 100 ou plus si vous voulez comparer des moteurs ou des segments. C'est un jugement éclairé par les études ci-dessus, pas quelque chose que notre échantillon de 42 paires peut prouver à lui seul. Le choix des prompts compte autant que leur nombre.

À quelle fréquence faut-il suivre sa visibilité IA ?

Exécutez vos prompts chaque jour et publiez vos résultats sur des fenêtres glissantes de 14 à 28 jours. Le rythme d'exécution et le rythme de reporting sont deux décisions distinctes : les exécutions doivent être assez fréquentes pour remplir la fenêtre d'échantillons, les rapports assez espacés pour qu'une fenêtre contienne suffisamment d'exécutions pour avoir du sens. Dans nos données, les paires ChatGPT, Claude et Gemini ont accumulé environ 20 à 22 exécutions sur une médiane de 25 jours, soit presque une exécution par jour, et même cela laissait de larges barres d'erreur sur les taux de mention par prompt.

Situation	Rythme d'exécution	Fenêtre de reporting	À surveiller
Suivi de marque en continu	Quotidien	28 jours glissants, revus chaque semaine ou chaque mois	Taux de mention et part de citations par moteur
Lancement, changement de marque ou crise de relations presse	Quotidien, avec plus de prompts sur le sujet concerné	14 jours glissants	Taux de mention et sentiment sur les prompts concernés
Test d'une modification de contenu	Quotidien sur les prompts ciblés	14 jours avant vs 14 jours après, au minimum	Part de citations de l'URL modifiée sur la fenêtre
Budget serré	L'hebdomadaire est acceptable si vous élargissez la fenêtre	8 à 12 semaines	Uniquement la tendance du taux de mention
Diagnostic d'un prompt important	Plusieurs exécutions par jour	1 à 2 semaines	Les sources et les concurrents qui reviennent

Pour une vue d'ensemble de ce qu'il faut suivre et pourquoi, consultez notre guide du suivi de la visibilité IA.

Quelles sont les limites de cette étude ?

Elles sont nombreuses, et elles bornent ce que vous devez en retenir.

• Échantillon réduit et déséquilibré. 42 paires et 968 exécutions, issues de 12 domaines suivis, à dominante marketing et logiciel. Perplexity compte 6 paires, Google AI Overview 1, Google AI Mode aucune. Des pourcentages par moteur calculés sur 6 à 13 paires peuvent basculer à cause d'une seule paire.
• Pas un échantillon aléatoire de prompts. Les prompts ont été choisis par des utilisateurs pour suivre leurs propres marques. Le nombre élevé de paires Gemini « toujours mentionnée » (10 sur 13) reflète très probablement ce mélange.
• L'API, pas les applications grand public. Les exécutions passaient par l'API de chaque moteur, avec la recherche web ou le grounding activé, et sans personnalisation. Un utilisateur connecté peut observer plus ou moins de variation.
• La marque est nommée dans l'instruction de notation. Cela permet à l'outil d'évaluer la réponse, mais peut augmenter les taux de mention absolus par rapport à un chat vierge. Nous nous concentrons donc sur la stabilité, pas sur la fréquence à laquelle les marques sont mentionnées.
• Notation automatisée. Les mentions et les domaines cités sont détectés automatiquement à partir du texte de la réponse et de ses citations ; nous n'avons pas vérifié chaque exécution à la main.
• Espacement irrégulier et modèles non figés. Les exécutions ne suivaient pas une horloge fixe (Perplexity était le plus dense), et les versions des modèles n'ont pas été figées sur toute la période : notre rotation mêle donc bruit et dérive réelle.
• Des domaines, pas des URL, et pas de classement. Le recouvrement est mesuré sur les domaines cités, ce qui est plus clément qu'un recouvrement au niveau des URL, et nous n'avons pas analysé la position dans la réponse.
• Pas de tests de significativité. Il s'agit de médianes et de décomptes descriptifs. Ne les extrapolez pas à d'autres secteurs, langues ou moteurs.

Nous referons cette analyse à mesure que l'échantillon grandira et publierons les chiffres mis à jour avec les mêmes définitions.

En résumé

La cohérence des réponses de l'IA est suffisamment faible pour qu'une exécution isolée puisse vous induire en erreur, et les listes de sources tournent bien plus que les mentions de marque. La solution n'est pas de multiplier les captures d'écran : c'est une liste de prompts figée, des exécutions quotidiennes et des taux publiés sur des fenêtres de deux à quatre semaines, par moteur, avec le nombre d'exécutions affiché. Si vous voulez ce dispositif sans avoir à le construire, le suivi de visibilité de marque d'AI Rank Lab exécute vos prompts selon un calendrier et conserve chaque exécution, pour que vous lisiez des tendances plutôt que des instantanés.