Pular para o conteúdo

Consistência das respostas de IA: o que 968 execuções revelam

Rodamos 42 pares prompt-motor 968 vezes. 42,9% alternaram entre mencionar e não mencionar a marca, e execuções seguidas compartilharam uma mediana de 41% dos domínios citados. Veja o que isso significa para a frequência de monitoramento e quantas execuções você precisa.

Featured image for Consistência das respostas de IA: o que 968 execuções revelam

As respostas de IA para o mesmo prompt mudam com frequência, e as fontes que elas citam mudam muito mais do que as marcas que mencionam. Em 968 execuções repetidas de 42 pares prompt-motor monitorados no AI Rank Lab entre 13 de fevereiro e 14 de outubro de 2026, 18 dos 42 pares (42,9%) alternaram pelo menos uma vez entre mencionar e não mencionar a marca monitorada. E duas execuções consecutivas do mesmo prompt tiveram uma sobreposição mediana de domínios citados de apenas 0,41 (Jaccard). Traduzindo: uma única execução é uma amostra, não uma medição.

Este é um estudo com dados próprios. A seguir, você vai ver os números por motor, o método e suas limitações, como nossos resultados se comparam com trabalhos publicados pela Profound, Otterly, SparkToro e por pesquisadores da Universidade de St. Gallen, e uma resposta prática para as duas perguntas que todo relatório de visibilidade em IA acaba enfrentando: com que frequência você deve monitorar, e quantas execuções são necessárias antes de confiar em uma mudança?

Principais conclusões

  • As menções oscilam. 18 de 42 pares prompt-motor (42,9%) alternaram entre "marca mencionada" e "não mencionada" pelo menos uma vez, em uma média de cerca de 23 execuções por par.
  • As fontes giram o tempo todo. Execuções consecutivas tiveram uma sobreposição Jaccard mediana de domínios citados de 0,41. O Perplexity foi o mais estável (0,59); o Gemini, o menos estável (0,26).
  • Pouquíssimas fontes são permanentes. Ao longo de todo o histórico de um par, uma mediana de apenas 3,5% dos domínios citados apareceu em todas as execuções, e o par citou uma mediana de 2,68 vezes mais domínios distintos do que uma execução típica isolada.
  • Estabilidade de menções e estabilidade de fontes são coisas diferentes. O Gemini foi o que menos alternou menções (23,1% dos pares), mas o que mais trocou de fontes; o Perplexity manteve melhor as fontes, mas alternou menções em 4 de 6 pares.
  • Reporte janelas, não fotografias. Rode os prompts diariamente, reporte taxas em janelas de 14 a 28 dias, mantenha os motores separados e só aja diante de mudanças que se mantêm entre janelas e em vários prompts.

O que medimos e como?

Medimos o quanto a resposta para o mesmo prompt, no mesmo motor, muda de uma execução para outra. Os dados vêm de execuções agendadas e manuais de prompts no monitor de visibilidade de marca do AI Rank Lab, que roda os prompts de um usuário nos motores de IA e registra se a marca monitorada foi mencionada e quais domínios a resposta citou. Transparência: o AI Rank Lab é o nosso produto, e esses dados foram coletados por ele.

Parâmetro do estudoValor
PeríodoExecuções bem-sucedidas entre 2026-02-13 e 2026-10-14
Critério de inclusãoApenas pares prompt + motor com 5 ou mais execuções bem-sucedidas
Amostra42 pares prompt-motor, 968 execuções (cerca de 23 execuções por par, em média)
Motores com pares qualificadosGemini (13 pares), ChatGPT (11), Claude (11), Perplexity (6), Google AI Overview (1). O Google AI Mode não teve nenhum par com 5 ou mais execuções.
MarcasProvenientes de 12 domínios monitorados, em sua maioria marcas de marketing e software. Nenhum domínio de cliente é citado aqui.
Período típico por parMediana de 25,3 dias para ChatGPT, Claude e Gemini; 12,8 dias para Perplexity; 37,6 dias para o único par de AI Overview

São quatro métricas, cada uma calculada por par e depois resumida como mediana (ou contagem) entre os pares:

  • Alternância de menção: as execuções do par não concordaram todas sobre se a marca foi mencionada. Pares que nunca alternaram são "sempre mencionados" ou "nunca mencionados".
  • Jaccard entre execuções consecutivas: para cada dupla de execuções seguidas, o número de domínios citados em comum dividido pelo número de domínios distintos citados por qualquer uma delas. 1,0 significa listas de fontes idênticas; 0 significa nenhuma sobreposição. Tiramos a média dentro de cada par e depois a mediana entre os pares.
  • Domínios presentes em todas as execuções: a parcela de todos os domínios que um par já citou que apareceu em absolutamente todas as suas execuções.
  • Domínios distintos no total vs por execução: quantos domínios distintos o par citou ao longo de todo o histórico, dividido por quantos uma única execução citou, em média.

As execuções passam pela API de cada motor com a busca na web ou o search grounding ativado, e não pelos apps de chat para o consumidor, e a instrução de pontuação cita a marca monitorada para que a resposta possa ser avaliada. As duas escolhas importam na hora de interpretar os dados, e voltamos a elas na seção de limitações.

Com que frequência as respostas de IA mudam para o mesmo prompt?

Com frequência suficiente para que uma única execução diga pouco. Dos 42 pares, 18 (42,9%) alternaram a menção da marca pelo menos uma vez, 19 foram mencionados em todas as execuções e 5 nunca foram mencionados. Do lado das fontes, duas execuções seguidas do mesmo prompt compartilharam uma mediana de 41% dos domínios citados por qualquer uma delas. Ou seja, cerca de três em cada cinco domínios em duas respostas consecutivas apareceram em apenas uma delas. Esse é o principal achado sobre a consistência das respostas de IA na nossa amostra: o veredito sobre a marca é instável em uma minoria considerável dos prompts, e a lista de fontes é instável em quase todos.

Principais resultados por motor

MotorParesExecuçõesPares que alternaram a mençãoSempre / nunca mencionadosJaccard mediano entre execuções consecutivas% mediana de domínios citados em todas as execuçõesDomínios distintos no total vs por execução
Perplexity62244 (66,7%)2 / 00,593,8%2,43x
ChatGPT112396 (54,5%)1 / 40,547,7%2,29x
Claude112265 (45,5%)6 / 00,5310,0%2,61x
Gemini132743 (23,1%)10 / 00,262,1%3,50x
Google AI Overview*150 (0%)0 / 10,413,3%2,63x
Todos os motores4296818 (42,9%)19 / 50,413,5%2,68x

*Um par com cinco execuções é uma curiosidade, não um resultado. Mostramos só para completar a tabela. O Jaccard de todos os motores (0,41) fica abaixo de três dos quatro motores principais porque é a mediana dos 42 pares juntos, e os 13 pares do Gemini, com pouca sobreposição, puxam o número para baixo.

Qual motor de IA dá as respostas mais consistentes?

Depende de que tipo de consistência você está falando, e nos nossos dados os dois tipos apontaram em direções opostas.

  • Fontes mais consistentes: Perplexity. Suas execuções seguidas compartilharam uma mediana de 0,59 dos domínios citados, a maior entre todos os motores. Uma ressalva: os pares do Perplexity foram rodados com mais densidade, cerca de 37 execuções cada em uma mediana de 12,8 dias, contra cerca de 20 a 22 execuções em uma mediana de 25,3 dias nos outros motores. Execuções mais próximas no tempo têm menos chance de variar, o que pode favorecer o número dele.
  • Veredito de marca mais consistente: Gemini. Só 3 dos seus 13 pares (23,1%) chegaram a alternar, e 10 foram mencionados em todas as execuções. Achamos que isso reflete principalmente o conjunto de prompts que por acaso foi monitorado no Gemini, e não uma característica do Gemini, e nossa amostra não consegue separar as duas coisas.
  • Fontes menos consistentes: Gemini. Jaccard mediano de 0,26, apenas 2,1% dos domínios citados presentes em todas as execuções e 3,5 vezes mais domínios distintos ao longo do tempo do que em uma execução típica. O Gemini continuou citando a marca enquanto trocava as páginas que indicava.
  • Maior parcela de fontes "permanentes": Claude. Uma mediana de 10% dos domínios que o Claude citou para um par apareceu em todas as execuções, a maior entre os quatro motores principais.
  • O ChatGPT ficou no meio em sobreposição de fontes (0,54) e teve o maior número de pares que nunca mencionaram a marca (4 de 11).

Menções de marca são mais estáveis do que fontes citadas?

Sim. Nos nossos dados, 24 de 42 pares (19 sempre mencionados mais 5 nunca mencionados) deram o mesmo veredito sobre a marca em todas as execuções, enquanto só uma mediana de 3,5% dos domínios citados sobreviveu a todas elas. Os trabalhos publicados concordam: o estudo de estabilidade da Otterly descobriu que de 12% a 19% das marcas apareceram em apenas um dia de uma janela de 30 dias, contra até 67% das fontes citadas, e o artigo de St. Gallen mediu um Jaccard diário de marcas de 0,45 a 0,59, contra 0,34 a 0,42 para fontes. Se você for reportar um único número, uma taxa de menção da marca ao longo de uma janela é mais estável do que qualquer fotografia de "quais páginas foram citadas". Nosso texto sobre menções de marca vs citações explica por que as duas coisas precisam de KPIs separados.

Círculos sobrepostos representando as fontes citadas em respostas repetidas de IA para um mesmo prompt, com apenas um pequeno núcleo em comum que se mantém entre as execuções

Por que os motores de IA dão respostas diferentes para a mesma pergunta?

Porque uma resposta de IA é o fim de uma cadeia de etapas, e quase toda etapa tem alguma aleatoriedade ou algum dado de entrada que muda. A tabela abaixo lista as principais causas e se uma configuração de monitoramento consegue controlá-las.

Causa da variaçãoO que ela mudaEvidênciaUm monitor consegue controlar?
Amostragem de tokens e não determinismo na inferênciaRedação, quais marcas são citadas, ordemA Thinking Machines obteve 80 respostas únicas em 1.000 requisições idênticas com temperatura 0Não. Os apps para o consumidor não expõem isso.
Recuperação e query fan-outQuais páginas são buscadas e citadasO Google diz que AI Overviews e AI Mode podem disparar várias buscas relacionadas sobre subtemasNão. Você só pode amostrar repetidamente.
Mudanças no índice e na webPáginas novas entram, antigas saemA Profound mediu de 40,5% a 59,3% dos domínios citados mudando em um mêsNão. É uma mudança real que você quer enxergar.
Atualizações de modeloSaltos tanto em menções quanto em fontesA Profound relata uma variação que cresce para 70% a 90% de janeiro a julhoEm parte. Registre as versões dos modelos e anote os lançamentos.
Personalização, localização, memóriaO que um usuário específico vêOs estudos mantêm isso constante; usuários reais, nãoEm parte. Fixe localização e configurações no monitoramento.
Produtos diferentes da mesma empresaTodo o conjunto de fontesA Ahrefs encontrou 13,7% de sobreposição de citações entre AI Mode e AI OverviewsSim. Monitore cada superfície separadamente.

Amostragem. Os modelos de linguagem escolhem cada próximo token a partir de uma distribuição de probabilidades, então o mesmo prompt pode gerar textos diferentes. Nem colocar a temperatura em zero torna os modelos hospedados totalmente repetíveis: a Thinking Machines Lab rodou o mesmo prompt 1.000 vezes com temperatura 0 no Qwen3-235B e obteve 80 respostas únicas. A causa, segundo eles, são kernels de inferência cujos resultados dependem do tamanho do lote e, portanto, da carga do servidor.

Recuperação. Respostas com busca ativada dependem do que o motor busca. A própria documentação do Google sobre recursos de IA diz que AI Overviews e AI Mode podem usar "query fan-out", disparando várias buscas relacionadas sobre subtemas, e que os dois recursos "podem usar modelos e técnicas diferentes, então o conjunto de respostas e links que mostram vai variar". Pequenas diferenças em quais subconsultas rodam, e no que elas retornam, mudam a lista de citações. Nosso texto explicativo sobre query fan-out mostra o mecanismo.

Mudança real ao longo do tempo. Parte do movimento é genuína: páginas novas são publicadas, rankings mudam e modelos são atualizados. O estudo de volatilidade da Profound descobriu que de 40% a 60% dos domínios citados mudaram entre junho e julho de 2025 para os mesmos prompts, e o estudo de meia-vida das citações, publicado depois, mostrou que a página citada mediana perde metade da sua participação máxima em citações em até 11 dias depois do pico. Nossa janela cobre oito meses e as versões dos modelos não foram fixadas, então parte da rotatividade que medimos é esse tipo de variação real, e não ruído.

Superfícies diferentes. Mesmo dentro de uma única empresa, os produtos são diferentes. A Ahrefs comparou 540.000 pares de consultas e descobriu que AI Mode e AI Overviews citaram as mesmas URLs em apenas 13,7% das vezes, embora as respostas fossem semanticamente parecidas em 86% dos casos.

Como esses resultados se comparam com Profound, Otterly, SparkToro e St. Gallen?

De modo geral, eles concordam: as listas de fontes giram muito, a presença da marca é mais estável e fotografias isoladas enganam. A tabela coloca os números publicados lado a lado. Atenção: as métricas são diferentes, então compare tendências, não casas decimais.

EstudoQuem publicouAmostraResultado comparável
AI Rank Lab (este estudo)Fornecedor (nós)42 pares prompt-motor, 968 execuções, fev. a out. de 2026Jaccard de domínios citados entre execuções consecutivas de 0,41; 42,9% dos pares alternaram a menção da marca
Don't Measure Once (Schulte, Bleeker, Kaufmann)Pesquisadores da Universidade de St. Gallen32 prompts em alemão suíço, 4 motores, 45 a 46 dias entre jan. e mar. de 2026Jaccard diário de fontes de 0,34 a 0,42; repetições em menos de 24 horas de 0,32 a 0,43; Jaccard de marcas de 0,45 a 0,59
Estudo de estabilidade da Otterly AIFornecedor520 prompts, 7 motores, 252.407 respostas, execuções diáriasChatGPT e AI Mode reutilizaram cerca de 26% das fontes de um dia para o outro; Perplexity, cerca de 75%
Profound: volatilidade da busca com IAFornecedorCerca de 80.000 prompts por plataforma, junho vs julho de 2025De 40,5% (Perplexity) a 59,3% (AI Overviews) dos domínios citados mudaram em um mês
Yotpo: quanto tempo dura uma citação de IA?FornecedorPrompts de e-commerce, semanalmente por mais de 14 semanasEstabilidade semanal das citações de 0,30 (ChatGPT) e 0,24 (Gemini)
SparkToro e Gumshoe (via Search Engine Journal)SparkToro com um fornecedor de monitoramento2.961 execuções de prompts feitas por voluntários no ChatGPT, Claude e Google AIMesma lista de marcas menos de 1 vez em 100; presença da marca mais estável do que a ordem

Todos os estudos desta tabela, exceto o artigo de St. Gallen, vêm de empresas que vendem monitoramento de visibilidade em IA, inclusive o nosso. Vale ter isso em mente quando qualquer um deles, nós incluídos, conclui que você precisa monitorar mais.

Onde concordamos. Nossa sobreposição geral de fontes de 0,41 fica dentro da faixa de St. Gallen (0,34 a 0,42 de um dia para o outro). O Perplexity ser o motor com fontes mais estáveis bate com a Otterly (cerca de 75% de reutilização diária) e com a Profound (menor variação mensal, de 40,5%). A presença da marca ser mais estável do que as fontes bate com Otterly, St. Gallen e SparkToro.

Onde discordamos. Nas repetições em menos de 24 horas do estudo de St. Gallen, o Gemini foi o motor com fontes mais estáveis (Jaccard de 0,505) e o Perplexity, um dos menos estáveis (0,282), o oposto do nosso ranking. As execuções deles foram em alemão, a partir de servidores suíços, ao longo de poucos dias; as nossas são principalmente prompts de marketing e software em inglês, distribuídos ao longo de semanas. Rankings de estabilidade entre motores não se transferem entre mercados e configurações, e esse é um motivo para construir sua própria linha de base por motor em vez de pegar emprestada a de alguém, inclusive a nossa.

E a Peec AI? Até 18 de outubro de 2026, não encontramos nenhum número publicado de estabilidade em execuções repetidas da Peec AI. Sua página de preços descreve a cobertura do monitoramento como prompts monitorados multiplicados pelos modelos ativos e pela frequência de monitoramento, e sua visão geral de visibilidade como monitorada diariamente, o que sugere a mesma abordagem baseada em janelas.

Uma única fotografia da visibilidade em IA é confiável?

Não. Na nossa amostra, 43% dos pares prompt-motor teriam dado um veredito diferente sobre a marca dependendo de qual execução você olhasse, e uma execução típica isolada mostrou bem menos da metade dos domínios que aquele par citou ao longo do tempo (a proporção de domínios distintos de 2,68x significa que uma execução capturou cerca de 37% do conjunto final de fontes do par). Os voluntários da SparkToro descobriram que o ChatGPT e a IA do Google retornaram a mesma lista de marcas menos de uma vez a cada 100 execuções. Um print prova que uma resposta aconteceu uma vez. Ele não diz qual é a sua visibilidade.

O que os relatórios de visibilidade em IA devem mostrar em vez de fotografias?

Taxas ao longo de janelas. Troque "fomos mencionados?" por "em que parcela das execuções fomos mencionados nos últimos N dias, e em quantas execuções?". Esta é a configuração de relatórios que recomendamos, e a mesma de onde vieram estes dados:

  1. Fixe o conjunto de prompts. Mantenha uma lista estável de prompts por motor para que o denominador não mude. Mudar os prompts altera a métrica mais do que a maioria das mudanças reais; o teste de uma vez por dia da Profound descobriu que a escolha do portfólio de prompts mexeu na participação em citações cerca de uma ordem de grandeza a mais do que a variação diária.
  2. Rode em um cronograma. Diariamente é o padrão mais comum. No AI Rank Lab, as execuções agendadas de prompts fazem isso automaticamente para ChatGPT, Claude, Gemini e Perplexity e guardam cada execução. Foi assim que os dados deste artigo se acumularam.
  3. Reporte a taxa de menção ao longo de uma janela. Execuções com menção divididas pelo total de execuções, em 14 a 28 dias, com o número de execuções impresso ao lado da taxa.
  4. Reporte a participação em citações separadamente. Acompanhe quais das suas URLs são citadas ao longo da janela, não em uma execução. Espere que a lista mude; olhe para a participação, não para quem está na lista. Veja nosso monitor de citações como uma forma de fazer isso.
  5. Mantenha os motores separados. Nossos motores divergiram sobre que tipo de estabilidade tinham. Uma pontuação combinada esconde isso.
  6. Anote mudanças de modelo e de produto. Quando um motor lança um novo modelo, marque a data para que um salto não seja confundido com uma vitória ou derrota de conteúdo.
  7. Aja diante de mudanças persistentes. Considere uma mudança real quando ela se mantiver por duas janelas consecutivas e aparecer em mais de um prompt.

Se a sua equipe usa um único número de visibilidade em IA, nosso guia sobre como uma pontuação de AEO é medida explica o que deveria estar por trás dele.

Quantas execuções são necessárias antes de confiar em uma mudança?

Mais do que a maioria dos dashboards dá a entender, principalmente no nível de um único prompt. Uma taxa de menção é uma proporção, então sua incerteza diminui conforme aumenta o número de execuções por trás dela. A tabela usa a aproximação normal padrão para uma taxa de menção de 50% (o pior caso) e pressupõe execuções independentes. Execuções reais são correlacionadas, então trate esses valores como pisos otimistas.

Execuções na janelaMargem aproximada de 95% em uma taxaMudança necessária entre duas janelas para superar o ruídoExemplo
5+/- 44 pontoscerca de 62 pontosUm prompt, rodado em 5 dias
10+/- 31 pontoscerca de 44 pontosUm prompt, rodado em 10 dias
20+/- 22 pontoscerca de 31 pontosUm prompt, rodado diariamente por cerca de 3 semanas (perto da nossa média de 23 por par)
30+/- 18 pontoscerca de 25 pontosUm prompt, rodado diariamente por um mês
60+/- 13 pontoscerca de 18 pontosDois prompts sobre o mesmo tema, diariamente por um mês
100+/- 10 pontoscerca de 14 pontosUm cluster temático de prompts, com várias execuções cada

Duas conclusões saem daí. Primeiro, a taxa de menção de um único prompt indo de 50% para 65% entre duas janelas de três semanas está bem dentro do ruído. Segundo, o jeito limpo de ter mais execuções geralmente é ter mais prompts, e não repetir mais vezes um único prompt. O artigo de St. Gallen chega a uma conclusão parecida com os próprios dados: o erro padrão da taxa de detecção por marca caiu abaixo de 0,10 com 7 execuções por prompt, e uma janela móvel levou o erro por marca para baixo de 0,10 em 10 dias e para baixo de 0,05 em 24 dias. É por isso que os autores recomendam janelas de duas a quatro semanas.

Os testes de fornecedores discordam sobre repetições diárias, mas medem outra coisa. A Profound descobriu que execuções uma vez por dia ficaram a cerca de 2 pontos das execuções dez vezes por dia em visibilidade (78,7% vs 80,4%) em 753 prompts, e a Meikai descobriu que 1 execução por dia deu o mesmo sinal agregado que 10, em 500 prompts. Os dois são resultados no nível do portfólio, com centenas de prompts por trás. A conciliação é simples: com um conjunto grande de prompts, uma vez por dia basta; para diagnosticar um único prompt, você precisa de muitas execuções dele.

Quantos prompts você precisa monitorar?

O suficiente para que as peculiaridades de um único prompt não determinem o número, o que na prática significa dezenas por motor, não um punhado. A Otterly descobriu que, com 10 prompts, 90% dos seus resultados de cobertura de marca ficaram em qualquer ponto entre 39% e 71%; com 100 prompts, a faixa se estreitou para 51% a 60%, cerca de 73% menos variação. Os autores de St. Gallen viram o Jaccard por prompt variar de menos de 0,2 a mais de 0,8 dentro de uma única campanha. Nossa amostra mostra a mesma dispersão: dentro de um mesmo motor, alguns pares nunca alternaram, enquanto outros alternaram várias vezes.

Nosso piso prático: pelo menos 50 prompts por motor para um número no nível da marca, agrupados em clusters temáticos, e mais de 100 se você quiser comparar motores ou segmentos. Isso é uma avaliação baseada nos estudos acima, não algo que nossa amostra de 42 pares consiga provar sozinha. Escolher os prompts importa tanto quanto a quantidade.

Com que frequência você deve monitorar a visibilidade em IA?

Rode os prompts diariamente e reporte em janelas móveis de 14 a 28 dias. A frequência de execução e a frequência de reporte são decisões diferentes: as execuções precisam ser frequentes o bastante para encher a janela de amostras, e os relatórios precisam ser espaçados o bastante para que uma janela tenha execuções suficientes para significar algo. Nos nossos dados, os pares de ChatGPT, Claude e Gemini acumularam cerca de 20 a 22 execuções em uma mediana de 25 dias, perto de uma execução por dia, e mesmo assim as taxas de menção por prompt ficaram com margens de erro grandes.

SituaçãoFrequência de execuçãoJanela de reporteO que acompanhar
Monitoramento contínuo da marcaDiária28 dias móveis, revisados semanal ou mensalmenteTaxa de menção e participação em citações por motor
Lançamento, rebranding ou crise de imagemDiária, com mais prompts sobre o tema afetado14 dias móveisTaxa de menção e sentimento nos prompts afetados
Teste de uma mudança de conteúdoDiária nos prompts-alvo14 dias antes vs 14 dias depois, no mínimoParticipação em citações da URL alterada ao longo da janela
Orçamento apertadoSemanal é aceitável se você ampliar a janela8 a 12 semanasApenas a direção da taxa de menção
Diagnóstico de um prompt importanteVárias execuções por dia1 a 2 semanasQuais fontes e concorrentes se repetem

Para uma visão mais ampla do que monitorar e por quê, veja nosso guia de monitoramento de visibilidade em IA.

Quais são as limitações deste estudo?

Muitas, e elas delimitam o que você deve tirar daqui.

  • Amostra pequena e desigual. 42 pares e 968 execuções, de 12 domínios monitorados com viés para marketing e software. O Perplexity tem 6 pares, o Google AI Overview 1, o Google AI Mode nenhum. Percentuais por motor com 6 a 13 pares podem mudar bastante por causa de um único par.
  • Não é uma amostra aleatória de prompts. Os prompts foram escolhidos pelos usuários para monitorar as próprias marcas. A alta contagem de "sempre mencionados" do Gemini (10 de 13) muito provavelmente reflete esse conjunto.
  • API, não apps para o consumidor. As execuções usaram a API de cada motor com a busca na web ou o grounding ativados, e sem personalização. Um usuário logado pode ver mais ou menos variação.
  • A marca é citada na instrução de pontuação. Isso permite que o monitor avalie a resposta, mas pode elevar as taxas absolutas de menção em comparação com um chat em branco. Por isso focamos na estabilidade, e não em com que frequência as marcas são mencionadas.
  • Pontuação automatizada. Menções e domínios citados são detectados automaticamente a partir do texto da resposta e das suas citações; não conferimos cada execução manualmente.
  • Espaçamento desigual e modelos não fixados. As execuções não seguiram um relógio fixo (o Perplexity rodou com mais densidade), e as versões dos modelos não foram fixadas durante toda a janela, então nossa rotatividade mistura ruído com variação real.
  • Domínios, não URLs, e sem ranking. A sobreposição é medida em domínios citados, o que é mais generoso do que a sobreposição por URL, e não analisamos a posição na resposta.
  • Sem testes de significância. São medianas e contagens descritivas. Não as extrapole para outros setores, idiomas ou motores.

Vamos refazer esta análise conforme a amostra crescer e publicar os números atualizados com as mesmas definições.

Resumindo

A consistência das respostas de IA é baixa o bastante para que qualquer execução isolada engane você, e as listas de fontes mudam muito mais do que as menções de marca. A solução não é tirar mais prints; é ter um conjunto fixo de prompts, execuções diárias e taxas reportadas em janelas de duas a quatro semanas, por motor, com o número de execuções à vista. Se você quer essa configuração sem precisar montá-la, o monitoramento de visibilidade de marca do AI Rank Lab roda seus prompts em um cronograma e guarda cada execução, para que você leia tendências em vez de fotografias.

Get a free AI ranking consultation

Want your brand to show up when ChatGPT, Gemini and Perplexity answer questions in your market? Tell us about your site and our team will send a personalized strategy.

This form is protected by reCAPTCHA. Your data is handled securely and we will never spam you.

Perguntas Frequentes

Outra dúvida? Pergunte à equipe

Com que frequência as respostas de IA mudam para o mesmo prompt?

Com frequência. Na nossa amostra de 968 execuções em 42 pares prompt-motor (fevereiro a outubro de 2026), 42,9% dos pares alternaram pelo menos uma vez entre mencionar e não mencionar a marca monitorada, e execuções consecutivas compartilharam uma mediana de apenas 41% dos domínios citados (Jaccard de 0,41). Trate qualquer execução isolada como uma amostra.

Qual motor de IA dá as respostas mais consistentes?

Depende da métrica. Nos nossos dados, o Perplexity teve as fontes citadas mais consistentes (Jaccard mediano de 0,59), enquanto o Gemini teve o veredito de marca mais consistente (23,1% dos pares alternaram), mas as fontes menos consistentes (0,26). Outros estudos classificam os motores de outra forma, então construa uma linha de base por motor.

Com que frequência você deve monitorar a visibilidade em IA?

Rode seus prompts diariamente e reporte as taxas em janelas móveis de 14 a 28 dias. As execuções diárias enchem a janela de amostras; é a janela que torna o número confiável. Execuções semanais podem funcionar com orçamento apertado se você ampliar a janela de reporte para 8 a 12 semanas.

Quantas vezes você deve rodar um prompt antes de confiar no resultado?

Para um único prompt, pense em dezenas de execuções. Com 20 execuções, uma taxa de menção de 50% ainda tem uma margem de cerca de 22 pontos para mais ou para menos, numa aproximação binomial simples. Pesquisadores da Universidade de St. Gallen viram o erro por marca cair abaixo de 0,10 com cerca de 7 execuções por prompt. No nível do portfólio, com centenas de prompts, uma execução por dia costuma bastar.

Quantos prompts são necessários para uma pontuação de visibilidade em IA confiável?

No mínimo, dezenas por motor. A Otterly descobriu que os resultados de cobertura de marca variaram de 39% a 71% com 10 prompts, mas se estreitaram para 51% a 60% com 100. Sugerimos pelo menos 50 prompts por motor para um número no nível da marca, agrupados por tema, e mais de 100 para comparar motores ou segmentos.

Por que o ChatGPT dá respostas diferentes para a mesma pergunta?

A amostragem de tokens, a inferência não determinística e a busca na web variam entre execuções, e tanto os modelos quanto a web mudam com o tempo. Mesmo com temperatura 0, a Thinking Machines Lab obteve 80 respostas únicas em 1.000 requisições idênticas a um modelo aberto, e respostas com busca ativada também dependem de quais páginas são buscadas a cada vez.

As citações de IA são menos estáveis do que as menções de marca?

Sim. Na nossa amostra, 24 de 42 pares deram o mesmo veredito sobre a marca em todas as execuções, mas só uma mediana de 3,5% dos domínios citados apareceu em todas elas. A Otterly e os pesquisadores de St. Gallen encontraram o mesmo padrão: a presença da marca é mais estável do que a lista de fontes citadas.

Posso comparar uma fotografia da visibilidade em IA com outra feita um mês depois?

Não de forma confiável. Uma única execução reflete tanto o ruído da amostragem quanto a sua visibilidade. Em vez disso, compare taxas em janelas equivalentes, por exemplo a taxa de menção dos últimos 28 dias contra os 28 dias anteriores, com o número de execuções à vista, e só aja se a mudança persistir entre janelas e em vários prompts.

Escrito por

Chief Marketing Officer & AI Search Optimization Architect

Autor Verificado

Digital Marketing Strategist & Pioneer in SEO, Answer Engine Optimization (AEO), and Generative Engine Optimization (GEO).

Gostou deste artigo?

Assine nossa newsletter e receba os insights mais recentes sobre otimização de busca com IA direto na sua caixa de entrada.

No spam. Unsubscribe at any time.

See how AI engines read your site

Paste your site. The free audit scores it for SEO, answer engines and generative engines, and lists the fixes.