AI 답변 일관성: 프롬프트 968번 반복 실행으로 확인한 결과

같은 프롬프트에 대한 AI 답변은 자주 바뀌고, 답변이 인용하는 출처는 언급하는 브랜드보다 훨씬 더 많이 바뀌어요. 2026년 2월 13일부터 10월 14일까지 AI Rank Lab에서 추적한 42개 프롬프트-엔진 조합을 968번 반복 실행해 보니, 42개 중 18개(42.9%)가 적어도 한 번은 추적 중인 브랜드를 언급했다가 안 했다가를 오갔어요. 또 같은 프롬프트를 연달아 두 번 실행했을 때 인용 도메인의 겹침 정도(Jaccard)는 중앙값 기준 0.41에 불과했죠. 쉽게 말해, 한 번의 실행은 측정값이 아니라 하나의 표본일 뿐이에요.

이 글은 자체 데이터로 진행한 연구예요. 아래에서 엔진별 수치, 연구 방법과 한계, 그리고 Profound, Otterly, SparkToro, 장크트갈렌대학교(University of St. Gallen) 연구진이 발표한 결과와 비교하면 어떤지 정리했어요. 마지막으로 모든 AI 가시성 리포트가 결국 부딪히는 두 가지 질문, 즉 얼마나 자주 추적해야 하는지, 그리고 변화를 믿으려면 실행을 몇 번이나 해야 하는지에 대한 현실적인 답도 담았어요.

무엇을, 어떻게 측정했나요?

같은 엔진에서 같은 프롬프트에 대한 답변이 실행할 때마다 얼마나 달라지는지를 측정했어요. 데이터는 AI Rank Lab의 브랜드 가시성 트래커에서 예약 실행과 수동 실행으로 돌린 프롬프트에서 나왔어요. 이 트래커는 사용자의 프롬프트를 AI 엔진에서 실행하고, 추적 중인 브랜드가 언급됐는지, 답변이 어떤 도메인을 인용했는지를 기록해요. 밝혀 두자면, AI Rank Lab은 저희 제품이고 이 데이터도 AI Rank Lab으로 수집했어요.

연구 조건	값
기간	2026-02-13부터 2026-10-14까지의 성공한 실행
포함 기준	성공한 실행이 5번 이상인 프롬프트 + 엔진 조합만
표본	42개 프롬프트-엔진 조합, 968번 실행(조합당 평균 약 23번)
조건을 충족한 조합이 있는 엔진	Gemini(13개 조합), ChatGPT(11), Claude(11), Perplexity(6), Google AI Overview(1). Google AI Mode는 5번 이상 실행된 조합이 없었어요.
브랜드	추적 중인 12개 도메인에서 추출했고, 대부분 마케팅·소프트웨어 브랜드예요. 고객 도메인 이름은 여기서 공개하지 않아요.
조합당 일반적인 기간	ChatGPT, Claude, Gemini는 중앙값 25.3일, Perplexity는 12.8일, 단 하나뿐인 AI Overview 조합은 37.6일

지표는 네 가지예요. 각각 조합별로 계산한 다음, 전체 조합에 대해 중앙값(또는 개수)으로 요약했어요.

• 언급 뒤집힘: 해당 조합의 실행 결과가 브랜드 언급 여부에서 모두 일치하지는 않았다는 뜻이에요. 한 번도 뒤집히지 않은 조합은 "항상 언급"이거나 "한 번도 언급 안 됨"이에요.
• 연속 실행 Jaccard: 연달아 실행된 두 번의 결과마다, 둘이 공유하는 인용 도메인 수를 둘 중 어느 쪽이든 인용한 고유 도메인 수로 나눈 값이에요. 1.0은 출처 목록이 똑같다는 뜻이고, 0은 전혀 겹치지 않는다는 뜻이에요. 이 값을 조합 안에서 평균 낸 뒤, 조합 전체의 중앙값을 구했어요.
• 모든 실행에 등장한 도메인: 한 조합이 인용한 적 있는 전체 도메인 중, 그 조합의 모든 실행에 빠짐없이 등장한 도메인의 비율이에요.
• 전체 실행 대비 실행당 고유 도메인: 조합이 전체 이력에서 인용한 고유 도메인 수를, 단일 실행이 평균적으로 인용한 도메인 수로 나눈 값이에요.

실행은 일반 소비자용 채팅 앱이 아니라, 웹 검색이나 검색 그라운딩을 켠 상태로 각 엔진의 API를 통해 이뤄졌어요. 그리고 답변을 채점할 수 있도록 채점 지시문에 추적 중인 브랜드 이름을 넣었어요. 두 가지 모두 결과를 해석할 때 중요한 부분이라 한계 섹션에서 다시 다룰게요.

같은 프롬프트에 대한 AI 답변은 얼마나 자주 바뀌나요?

실행 한 번으로는 알 수 있는 게 거의 없을 만큼 자주 바뀌어요. 42개 조합 전체에서 18개(42.9%)는 적어도 한 번 브랜드 언급이 뒤집혔고, 19개는 모든 실행에서 언급됐고, 5개는 한 번도 언급되지 않았어요. 출처 쪽을 보면, 같은 프롬프트를 연달아 두 번 실행했을 때 둘 중 하나라도 인용한 도메인 가운데 공유된 비율은 중앙값 41%였어요. 즉 연속된 두 답변에 나온 도메인 다섯 개 중 대략 세 개는 한쪽에만 등장했다는 얘기예요. 이게 저희 표본에서 확인한 AI 답변 일관성의 핵심이에요. 브랜드 판정은 적지 않은 수의 프롬프트에서 불안정하고, 출처 목록은 거의 모든 프롬프트에서 불안정해요.

엔진별 주요 결과

엔진	조합 수	실행 수	언급이 뒤집힌 조합	항상 / 한 번도 언급 안 됨	연속 실행 Jaccard 중앙값	모든 실행에 등장한 인용 도메인 비율(중앙값)	전체 실행 대비 실행당 고유 도메인
Perplexity	6	224	4 (66.7%)	2 / 0	0.59	3.8%	2.43x
ChatGPT	11	239	6 (54.5%)	1 / 4	0.54	7.7%	2.29x
Claude	11	226	5 (45.5%)	6 / 0	0.53	10.0%	2.61x
Gemini	13	274	3 (23.1%)	10 / 0	0.26	2.1%	3.50x
Google AI Overview*	1	5	0 (0%)	0 / 1	0.41	3.3%	2.63x
전체 엔진	42	968	18 (42.9%)	19 / 5	0.41	3.5%	2.68x

*실행 5번짜리 조합 하나는 결론이 아니라 일화에 가까워요. 빠짐없이 보여 드리려고 넣었을 뿐이에요. 전체 엔진 Jaccard(0.41)가 주요 엔진 네 개 중 세 개보다 낮은 이유는, 42개 조합 전체를 합쳐서 구한 중앙값이고 겹침이 낮은 Gemini의 13개 조합이 값을 끌어내리기 때문이에요.

어떤 AI 엔진의 답변이 가장 일관적일까요?

어떤 종류의 일관성을 말하느냐에 따라 달라요. 저희 데이터에서는 두 가지 일관성이 정반대 방향을 가리켰어요.

• 출처가 가장 일관적인 엔진: Perplexity. 연속 실행 간 인용 도메인 공유 비율이 중앙값 0.59로 모든 엔진 중 가장 높았어요. 다만 주의할 점이 있어요. Perplexity 조합은 더 촘촘하게 실행됐는데, 중앙값 12.8일 동안 조합당 약 37번이었고, 다른 엔진은 중앙값 25.3일 동안 대략 20~22번이었어요. 실행 간격이 가까울수록 변할 여지가 적으니, 수치가 실제보다 좋게 나왔을 수 있어요.
• 브랜드 판정이 가장 일관적인 엔진: Gemini. 13개 조합 중 3개(23.1%)만 뒤집혔고, 10개는 모든 실행에서 언급됐어요. 저희는 이게 Gemini 자체의 특성이라기보다 마침 Gemini에서 추적된 프롬프트 구성 때문일 가능성이 크다고 봐요. 다만 저희 표본으로는 둘을 구분할 수 없어요.
• 출처가 가장 덜 일관적인 엔진: Gemini. Jaccard 중앙값 0.26, 모든 실행에 등장한 인용 도메인은 2.1%뿐이고, 시간이 지나며 쌓인 고유 도메인은 일반적인 단일 실행의 3.5배였어요. Gemini는 브랜드는 계속 언급하면서 가리키는 페이지는 계속 바꿨어요.
• "고정" 출처 비율이 가장 높은 엔진: Claude. 한 조합에서 Claude가 인용한 도메인의 중앙값 10%가 모든 실행에 등장했는데, 주요 엔진 네 개 중 가장 높은 수치예요.
• ChatGPT는 출처 겹침에서 중간(0.54)이었고, 브랜드를 한 번도 언급하지 않은 조합이 가장 많았어요(11개 중 4개).

브랜드 언급이 인용 출처보다 더 안정적인가요?

네. 저희 데이터에서 42개 조합 중 24개(항상 언급 19개 + 한 번도 언급 안 됨 5개)는 모든 실행에서 같은 브랜드 판정을 내렸지만, 모든 실행에서 살아남은 인용 도메인은 중앙값 3.5%뿐이었어요. 발표된 연구들도 같은 얘기를 해요. Otterly의 안정성 연구에서는 30일 기간 중 단 하루만 등장한 브랜드가 12%~19%였던 반면, 인용 출처는 최대 67%가 그랬어요. 장크트갈렌 논문은 일별 브랜드 Jaccard를 0.45~0.59, 출처는 0.34~0.42로 측정했고요. 숫자 하나만 리포트해야 한다면, 기간 단위의 브랜드 언급률이 "어떤 페이지가 인용됐나" 스냅샷보다 훨씬 안정적이에요. 두 가지에 왜 별도의 KPI가 필요한지는 브랜드 언급과 인용의 차이를 다룬 글에서 설명했어요.

AI 엔진은 왜 같은 질문에 다른 답을 내놓을까요?

AI 답변은 여러 단계를 거친 끝에 나오는 결과물이고, 그 단계 거의 하나하나에 무작위성이나 계속 변하는 입력이 끼어 있기 때문이에요. 아래 표는 주요 원인과, 추적 환경에서 그 원인을 통제할 수 있는지를 정리한 거예요.

변동 원인	무엇이 바뀌나	근거	트래커가 통제할 수 있나?
토큰 샘플링과 추론의 비결정성	표현, 어떤 브랜드가 언급되는지, 순서	Thinking Machines는 temperature 0으로 똑같은 요청 1,000번을 보내 80개의 서로 다른 결과를 얻었어요	아니요. 소비자용 앱에서는 설정할 수 없어요.
검색(retrieval)과 query fan-out	어떤 페이지를 가져와서 인용하는지	Google은 AI Overviews와 AI Mode가 하위 주제별로 여러 관련 검색을 실행할 수 있다고 설명해요	아니요. 반복해서 표본을 뽑는 수밖에 없어요.
색인과 웹의 변화	새 페이지가 들어오고 오래된 페이지는 빠짐	Profound는 한 달 사이에 인용 도메인의 40.5%~59.3%가 바뀐 것을 측정했어요	아니요. 이건 오히려 보고 싶은 실제 변화예요.
모델 업데이트	언급과 출처 모두에서 계단식 변화	Profound는 1월부터 7월까지 변동이 70%~90%까지 커졌다고 보고해요	부분적으로요. 모델 버전을 기록하고 출시 시점을 표시하세요.
개인화, 위치, 메모리	개별 사용자가 보는 결과	연구에서는 이 변수들을 고정하지만 실제 사용자는 그렇지 않아요	부분적으로요. 추적할 때 위치와 설정을 고정하세요.
같은 회사의 서로 다른 제품	출처 세트 전체	Ahrefs는 AI Mode와 AI Overviews 사이의 인용 겹침이 13.7%라는 사실을 발견했어요	네. 각 서비스를 따로 추적하세요.

샘플링. 언어 모델은 다음 토큰을 확률 분포에서 하나씩 골라요. 그래서 같은 프롬프트라도 다른 텍스트가 나올 수 있어요. temperature를 0으로 설정해도 호스팅된 모델이 완전히 똑같은 결과를 내지는 않아요. Thinking Machines Lab은 Qwen3-235B에서 같은 프롬프트를 temperature 0으로 1,000번 실행해 80개의 서로 다른 결과를 얻었는데, 원인은 결과가 배치 크기, 즉 서버 부하에 따라 달라지는 추론 커널이었어요.

검색. 검색 기능이 켜진 답변은 엔진이 무엇을 가져오느냐에 달려 있어요. Google의 AI 기능 관련 공식 문서에 따르면, AI Overviews와 AI Mode는 하위 주제별로 여러 관련 검색을 실행하는 "query fan-out"을 사용할 수 있고, 두 기능은 "서로 다른 모델과 기법을 사용할 수 있으므로 보여 주는 답변과 링크가 달라질 수 있다"고 해요. 어떤 하위 쿼리가 실행되고 무엇을 가져오는지의 작은 차이가 인용 목록을 바꿔요. 이 메커니즘은 query fan-out 설명 글에서 자세히 다뤘어요.

시간에 따른 실제 변화. 일부 변동은 진짜 변화예요. 새 페이지가 발행되고, 순위가 바뀌고, 모델이 업데이트되니까요. Profound의 변동성 연구에서는 같은 프롬프트에 대해 2025년 6월과 7월 사이에 인용 도메인의 40%~60%가 바뀌었고, 이후의 인용 반감기 연구에서는 인용 페이지의 중앙값이 정점을 찍은 뒤 11일 안에 최고 인용 점유율의 절반을 잃었어요. 저희 데이터는 8개월에 걸쳐 있고 모델 버전을 고정하지 않았기 때문에, 관찰된 변동의 일부는 노이즈가 아니라 이런 실제 변화예요.

서로 다른 서비스. 한 회사 안에서도 제품마다 달라요. Ahrefs가 540,000개 쿼리 쌍을 비교한 결과, AI Mode와 AI Overviews의 답변은 86%가 의미상 비슷했는데도 같은 URL을 인용한 경우는 13.7%에 그쳤어요.

Profound, Otterly, SparkToro, 장크트갈렌 연구와 비교하면 어떤가요?

큰 틀에서는 일치해요. 출처 목록은 크게 바뀌고, 브랜드 노출은 더 안정적이며, 스냅샷 한 장은 오해를 낳아요. 아래 표에 발표된 수치를 나란히 놓았어요. 지표 정의가 서로 다르니 소수점이 아니라 방향을 비교하세요.

연구	발표 주체	표본	비교 가능한 결과
AI Rank Lab(이 연구)	벤더(저희)	42개 프롬프트-엔진 조합, 968번 실행, 2026년 2월~10월	연속 실행 인용 도메인 Jaccard 0.41, 조합의 42.9%에서 브랜드 언급이 뒤집힘
Don't Measure Once(Schulte, Bleeker, Kaufmann)	장크트갈렌대학교 연구진	스위스 독일어 프롬프트 32개, 엔진 4개, 2026년 1월~3월 중 45~46일	일별 출처 Jaccard 0.34~0.42, 24시간 내 반복 0.32~0.43, 브랜드 Jaccard 0.45~0.59
Otterly AI 안정성 연구	벤더	프롬프트 520개, 엔진 7개, 답변 252,407개, 매일 실행	ChatGPT와 AI Mode는 일별로 출처의 약 26%를, Perplexity는 약 75%를 재사용
Profound: AI 검색 변동성	벤더	플랫폼당 약 80,000개 프롬프트, 2025년 6월 대 7월	한 달 사이 인용 도메인의 40.5%(Perplexity)~59.3%(AI Overviews)가 바뀜
Yotpo: How long does an AI citation last?	벤더	커머스 프롬프트, 14주 이상 매주	주간 인용 안정성 0.30(ChatGPT), 0.24(Gemini)
SparkToro와 Gumshoe(Search Engine Journal 보도)	SparkToro와 추적 벤더	자원봉사자들이 ChatGPT, Claude, Google AI에서 실행한 2,961번의 프롬프트	같은 브랜드 목록이 나온 경우는 100번 중 1번 미만, 브랜드 노출은 순서보다 안정적

이 표에서 장크트갈렌 논문을 뺀 모든 연구는, 저희를 포함해 AI 가시성 추적 서비스를 판매하는 회사에서 나왔어요. 저희를 포함해 누구든 "추적을 더 해야 한다"는 결론을 내릴 때는 이 점을 염두에 두는 게 좋아요.

일치하는 부분. 저희의 전체 출처 겹침 0.41은 장크트갈렌 연구의 범위(일별 0.34~0.42) 안에 있어요. Perplexity가 출처 면에서 가장 안정적인 엔진이라는 점은 Otterly(일별 재사용 약 75%), Profound(월간 변동 40.5%로 가장 낮음)와 일치해요. 브랜드 노출이 출처보다 안정적이라는 점은 Otterly, 장크트갈렌, SparkToro 모두와 일치하고요.

다른 부분. 장크트갈렌의 24시간 내 반복 실험에서는 Gemini가 출처 면에서 가장 안정적이었고(Jaccard 0.505) Perplexity는 가장 불안정한 축에 속했는데(0.282), 저희 순위와 정반대예요. 이 연구는 스위스 서버에서 독일어로 며칠 동안 실행했고, 저희는 주로 영어로 된 마케팅·소프트웨어 프롬프트를 몇 주에 걸쳐 실행했어요. 엔진별 안정성 순위는 시장과 환경이 바뀌면 그대로 적용되지 않아요. 그러니 저희 것을 포함해 남의 기준선을 빌려 쓰기보다 엔진별로 직접 기준선을 만드는 게 맞아요.

Peec AI는요? 2026년 10월 18일 기준으로 Peec AI가 발표한 반복 실행 안정성 수치는 찾지 못했어요. Peec AI의 가격 페이지는 추적 범위를 '추적 프롬프트 × 활성 모델 × 추적 빈도'로 설명하고, 가시성 개요는 매일 추적한다고 밝히고 있어요. 결국 같은 기간 기반 접근 방식이라는 뜻이죠.

AI 가시성 스냅샷 한 장, 믿을 만할까요?

아니요. 저희 표본에서는 프롬프트-엔진 조합의 43%가 어떤 실행을 보느냐에 따라 브랜드 판정이 달라졌을 거예요. 또 일반적인 단일 실행은 그 조합이 시간에 걸쳐 인용한 도메인의 절반에도 한참 못 미치는 양만 보여 줬어요(고유 도메인 비율 2.68x는 실행 한 번이 그 조합의 최종 출처 풀 중 대략 37%만 포착했다는 뜻이에요). SparkToro의 자원봉사자들은 ChatGPT와 Google AI가 100번 실행 중 1번도 안 되게 같은 브랜드 목록을 내놓는다는 걸 확인했어요. 스크린샷은 어떤 답변이 한 번 나왔다는 사실을 증명할 뿐, 여러분의 가시성을 말해 주지는 않아요.

AI 가시성 리포트는 스냅샷 대신 무엇을 보여 줘야 할까요?

기간 단위의 비율이에요. "우리가 언급됐나?" 대신 "지난 N일 동안 총 몇 번의 실행 중 몇 퍼센트에서 언급됐나?"를 물어야 해요. 저희가 권하는 리포팅 방식이자, 이번 데이터가 나온 방식이기도 해요.

1. 프롬프트 세트를 고정하세요. 엔진별로 프롬프트 목록을 안정적으로 유지해야 분모가 흔들리지 않아요. 프롬프트를 바꾸면 대부분의 실제 변화보다 지표가 더 크게 움직여요. Profound의 하루 한 번 테스트에서는 프롬프트 포트폴리오 선택이 일별 변동보다 인용 점유율을 대략 자릿수가 하나 다를 만큼 더 크게 움직였어요.
2. 일정에 맞춰 실행하세요. 매일 실행이 흔히 쓰는 기본값이에요. AI Rank Lab에서는 예약된 프롬프트 실행이 ChatGPT, Claude, Gemini, Perplexity에서 이 작업을 자동으로 하고 모든 실행을 저장해요. 이 글의 데이터도 그렇게 쌓였어요.
3. 기간 단위로 언급률을 리포트하세요. 14~28일 동안 언급된 실행 수를 전체 실행 수로 나누고, 비율 옆에 실행 횟수를 함께 적으세요.
4. 인용 점유율은 따로 리포트하세요. 실행 한 번이 아니라 기간 전체에 걸쳐 내 URL 중 어떤 것이 인용됐는지 추적하세요. 목록은 계속 바뀔 테니, 무엇이 들어 있는지보다 점유율을 보세요. 한 가지 방법으로 저희 인용 트래커를 참고해 보세요.
5. 엔진은 따로 보세요. 저희 데이터에서 엔진마다 어떤 종류의 안정성을 보였는지가 서로 달랐어요. 하나로 합친 점수는 그 차이를 가려 버려요.
6. 모델과 제품 변경 사항을 기록하세요. 엔진이 새 모델을 출시하면 날짜를 표시해 두세요. 그래야 계단식 변화를 콘텐츠 성과나 손실로 착각하지 않아요.
7. 지속되는 변화에만 대응하세요. 연속된 두 기간에 걸쳐 유지되고 두 개 이상의 프롬프트에서 나타날 때 진짜 변화로 보세요.

팀에서 AI 가시성 점수 하나만 쓰고 있다면, AEO 점수를 어떻게 측정하는지 다룬 가이드에서 그 점수 밑에 무엇이 깔려 있어야 하는지 확인해 보세요.

변화를 믿으려면 실행을 몇 번이나 해야 할까요?

대부분의 대시보드가 암시하는 것보다 많이 필요해요. 특히 프롬프트 하나 단위로 볼 때는 더 그래요. 언급률은 비율이라서, 그 뒤에 있는 실행 횟수가 많을수록 불확실성이 줄어요. 아래 표는 언급률 50%(최악의 경우)에 대해 표준 정규 근사를 적용하고 실행이 서로 독립이라고 가정한 값이에요. 실제 실행은 서로 상관관계가 있으니, 이 값은 낙관적인 최저선으로 보세요.

기간 내 실행 수	비율 하나의 95% 오차 범위(근사)	노이즈를 넘으려면 두 기간 사이에 필요한 변화폭	예시
5	+/- 44%p	약 62%p	프롬프트 하나, 5일 실행
10	+/- 31%p	약 44%p	프롬프트 하나, 10일 실행
20	+/- 22%p	약 31%p	프롬프트 하나, 약 3주간 매일 실행(저희 조합당 평균 23번과 비슷)
30	+/- 18%p	약 25%p	프롬프트 하나, 한 달간 매일 실행
60	+/- 13%p	약 18%p	같은 주제의 프롬프트 두 개, 한 달간 매일
100	+/- 10%p	약 14%p	주제 클러스터에 속한 여러 프롬프트, 각각 여러 번 실행

여기서 두 가지를 알 수 있어요. 첫째, 3주짜리 기간 두 개 사이에서 프롬프트 하나의 언급률이 50%에서 65%로 올랐다면 그건 충분히 노이즈 범위 안이에요. 둘째, 실행 횟수를 깔끔하게 늘리는 방법은 보통 프롬프트 하나를 더 많이 반복하는 게 아니라 프롬프트 수를 늘리는 거예요. 장크트갈렌 논문도 자체 데이터로 비슷한 결론에 도달했어요. 브랜드별 탐지율의 표준오차는 프롬프트당 7번 실행에서 0.10 아래로 떨어졌고, 롤링 기간을 쓰면 브랜드별 오차가 10일에 0.10 아래, 24일에 0.05 아래로 내려갔어요. 그래서 저자들은 2~4주 기간을 권장해요.

벤더 테스트들은 하루 여러 번 반복 실행에 대해 다른 결론을 내리지만, 측정하는 대상이 달라요. Profound는 753개 프롬프트에서 하루 한 번 실행한 결과가 하루 열 번 실행한 결과와 가시성 기준으로 약 2%p 이내 차이였다고 밝혔고(78.7% 대 80.4%), Meikai는 500개 프롬프트에서 하루 1번 실행이 10번 실행과 같은 통합 신호를 준다는 걸 확인했어요. 둘 다 수백 개 프롬프트를 바탕으로 한 포트폴리오 수준의 결과예요. 정리하면 간단해요. 프롬프트 세트가 크면 하루 한 번으로 충분하고, 프롬프트 하나를 진단하려면 그 프롬프트를 여러 번 실행해야 해요.

프롬프트는 몇 개나 추적해야 할까요?

특정 프롬프트 하나의 특이한 결과가 전체 수치를 좌우하지 않을 만큼은 있어야 해요. 실제로는 엔진당 몇 개가 아니라 수십 개가 필요하다는 뜻이에요. Otterly에 따르면 프롬프트가 10개일 때는 브랜드 커버리지 결과의 90%가 39%에서 71% 사이 어디든 나올 수 있었지만, 100개일 때는 범위가 51%~60%로 좁아져 변동이 약 73% 줄었어요. 장크트갈렌 연구진은 캠페인 하나 안에서도 프롬프트 단위 Jaccard가 0.2 미만부터 0.8 초과까지 퍼져 있는 걸 확인했어요. 저희 표본도 마찬가지로, 같은 엔진 안에서 어떤 조합은 한 번도 뒤집히지 않았고 어떤 조합은 계속 뒤집혔어요.

저희가 생각하는 현실적인 최저선은 브랜드 단위 수치를 위해 엔진당 최소 50개 프롬프트, 주제 클러스터로 묶어서예요. 엔진이나 세그먼트를 비교하고 싶다면 100개 이상이 필요해요. 이건 위 연구들을 참고한 판단이지, 저희의 42개 조합 표본만으로 증명할 수 있는 건 아니에요. 프롬프트를 어떻게 고르느냐도 개수만큼 중요해요.

AI 가시성은 얼마나 자주 추적해야 할까요?

프롬프트는 매일 실행하고, 리포트는 14~28일 롤링 기간으로 하세요. 실행 주기와 리포트 주기는 서로 다른 결정이에요. 실행은 기간을 표본으로 채울 만큼 자주 해야 하고, 리포트는 한 기간에 의미 있는 만큼의 실행이 담길 정도로 천천히 해야 해요. 저희 데이터에서 ChatGPT, Claude, Gemini 조합은 중앙값 25일 동안 약 20~22번, 거의 하루 한 번꼴로 실행이 쌓였는데, 그래도 프롬프트 하나의 언급률에는 오차 범위가 넓게 남았어요.

상황	실행 주기	리포트 기간	봐야 할 것
상시 브랜드 모니터링	매일	롤링 28일, 매주 또는 매달 검토	엔진별 언급률과 인용 점유율
출시, 리브랜딩, PR 이슈	매일, 해당 주제의 프롬프트를 늘려서	롤링 14일	해당 프롬프트의 언급률과 감성
콘텐츠 변경 테스트	대상 프롬프트를 매일	최소 변경 전 14일 대 변경 후 14일	기간 전체에 걸친 변경 URL의 인용 점유율
예산이 빠듯할 때	기간을 넓힌다면 매주도 괜찮아요	8~12주	언급률의 방향만
중요한 프롬프트 하나 진단	하루 여러 번	1~2주	어떤 출처와 경쟁사가 반복해서 나오는지

무엇을 왜 추적해야 하는지 큰 그림이 궁금하다면 AI 가시성 추적 가이드를 확인해 보세요.

이 연구의 한계는 무엇인가요?

꽤 많아요. 그리고 이 한계가 이 연구에서 얻을 수 있는 결론의 범위를 정해요.

• 작고 고르지 않은 표본. 42개 조합, 968번 실행이고, 마케팅·소프트웨어 쪽으로 치우친 12개 추적 도메인에서 나왔어요. Perplexity는 6개 조합, Google AI Overview는 1개, Google AI Mode는 0개예요. 6~13개 조합을 바탕으로 한 엔진별 비율은 조합 하나로도 크게 흔들릴 수 있어요.
• 무작위 프롬프트 표본이 아님. 프롬프트는 사용자들이 자기 브랜드를 추적하려고 직접 고른 거예요. Gemini에서 '항상 언급' 개수가 많았던 것(13개 중 10개)도 이 구성 때문일 가능성이 커요.
• 소비자용 앱이 아닌 API. 실행은 웹 검색이나 그라운딩을 켠 상태로 각 엔진의 API를 썼고, 개인화는 없었어요. 로그인한 사용자는 변동을 더 많이, 혹은 더 적게 볼 수 있어요.
• 채점 지시문에 브랜드 이름이 들어감. 덕분에 트래커가 답변을 채점할 수 있지만, 빈 채팅창에서 물어볼 때보다 절대적인 언급률이 높아질 수 있어요. 그래서 저희는 브랜드가 얼마나 자주 언급되는지가 아니라 안정성에 초점을 맞췄어요.
• 자동 채점. 언급과 인용 도메인은 답변 텍스트와 인용 정보에서 자동으로 감지했어요. 모든 실행을 사람이 직접 확인하지는 않았어요.
• 고르지 않은 간격과 고정되지 않은 모델. 실행이 정해진 시각에 이뤄지지 않았고(Perplexity가 가장 촘촘했어요), 전체 기간 동안 모델 버전을 고정하지 않았어요. 그래서 저희가 관찰한 변동에는 노이즈와 실제 변화가 섞여 있어요.
• URL이 아닌 도메인 기준, 순위 분석 없음. 겹침은 인용 도메인 기준으로 측정했는데, 이는 URL 기준보다 너그러운 방식이에요. 답변 내 위치도 분석하지 않았어요.
• 유의성 검정 없음. 모두 기술적인 중앙값과 개수예요. 다른 업종, 언어, 엔진으로 확대 해석하지 마세요.

표본이 늘어나면 이 분석을 다시 돌리고, 같은 정의를 써서 업데이트된 수치를 공개할게요.

결론

AI 답변의 일관성은 실행 한 번만 보고 판단하면 오해하기 쉬울 만큼 낮고, 출처 목록은 브랜드 언급보다 훨씬 많이 바뀌어요. 해결책은 스크린샷을 더 찍는 게 아니에요. 고정된 프롬프트 세트, 매일 실행, 그리고 엔진별로 실행 횟수를 함께 표시한 2~4주 기간 단위의 비율 리포트예요. 이런 환경을 직접 만들지 않고 쓰고 싶다면, AI Rank Lab의 브랜드 가시성 추적이 일정에 맞춰 프롬프트를 실행하고 모든 실행을 저장해 줘요. 그러니 스냅샷이 아니라 추세를 읽을 수 있어요.