AI 점수 확인 완벽 가이드: 완전히 다른 두 가지 도구 이야기

"AI 점수 확인"이라는 말은 사실 전혀 상관없는 두 가지 도구를 가리켜요. 하나는 AI 탐지기로, 어떤 글이 기계로 작성됐을 가능성이 얼마나 되는지를 점수로 매겨요. 다른 하나는 AI 가시성 체커로, AI 어시스턴트가 내 브랜드를 얼마나 자주 언급하는지를 점수로 보여 줘요. 하나는 내 글을 보고, 다른 하나는 내 존재감을 봐요. 방법도, 데이터도, 의미도 완전히 달라요.

이 키워드로 상위에 뜨는 페이지는 거의 다 첫 번째 의미만 다루고, 독자도 당연히 그걸 원한다고 가정해요. 이 가이드는 두 가지를 모두 다루고, 각 점수로 무엇을 말할 수 있고 무엇은 말할 수 없는지 솔직하게 정리했어요. 그리고 탐지기 퍼센트에 대해 사람들이 실제로 묻는 질문에 답해요. 학생과 마케터가 가장 많이 헷갈리는 질문, 즉 7%처럼 낮은 점수가 과연 의미가 있는지도 포함해서요.

첫 번째 의미: AI 탐지기 점수

AI 탐지기는 어떤 글이 언어 모델로 생성됐을 확률을 추정하는 도구예요. 보통 문서 중 기계가 쓴 것으로 보이는 비율을 퍼센트로 알려 줘요. GPTZero, QuillBot, Turnitin, Scribbr, ZeroGPT 같은 도구가 여기에 속해요.

방식은 통계적이지, 과학 수사처럼 확정적인 게 아니에요. 탐지기는 낮은 퍼플렉시티(perplexity), 즉 단어 하나하나가 유난히 예측 가능한 글 같은 신호를 찾아요. 그런데 유창하고 담백하며 구조가 잘 잡힌 사람의 글도 바로 그런 특징을 가지고 있어요. 아래에서 다룰 거의 모든 문제가 여기서 시작돼요.

AI 점수 7%, 나쁜 건가요?

아니요. 7%는 가장 큰 탐지기 업체조차 신뢰할 수 없다고 보고 결과로 보고하지 않는 구간에 들어가 있어요.

대부분의 학교와 교육 기관이 실제로 쓰는 탐지기는 Turnitin인데, Turnitin은 1%~19% 구간의 AI 점수를 아예 표시하지 않아요. 바로 이 구간에 오탐(false positive)이 몰리기 때문이에요. 20% 기준선 아래에서는 의미 있는 점수 대신 별표(*)를 보여 주면서, 이 수준의 숫자는 믿을 만하지 않다고 교수자에게 경고해요. Turnitin은 AI 작성 비율 20% 초과로 표시된 문서에 대해 문서 단위 오탐률이 1% 미만, 문장 단위 오탐률은 약 4%라고 밝히고 있어요.

그러니 7%라는 결과는 문서의 7%를 AI가 썼다는 증거가 아니에요. 업체 스스로도 책임지지 않겠다는 숫자예요. 한 자릿수 점수가 나왔다면, 그냥 무시하는 게 맞는 대응이에요.

AI 탐지기 점수, 몇 점이면 괜찮을까요?

"깨끗하다"를 뜻하는 기준선은 없어요. 어떤 숫자를 합격선처럼 여긴다면 이 점수가 무엇인지 오해하고 있는 거예요.

탐지기 결과는 오류율이 상당하다고 이미 알려진 분류기가 내놓는 확률 추정치일 뿐, 사실을 측정한 값이 아니에요. 미국 샌디에이고 대학교(University of San Diego) 법률연구센터가 2026년 7월에 업데이트한 AI 탐지 도구 가이드는 이 점을 단호하게 말해요. 탐지기는 "정확하지도, 신뢰할 수도 없으며" "학업 부정행위의 유일한 지표로 권장되지 않는다"고요. 같은 가이드는 Turnitin 탐지기가 문서 속 AI 생성 텍스트의 약 15%를 놓칠 수 있다고도 지적해요. 즉, 낮은 점수 역시 아무것도 증명하지 못해요.

내가 점수를 받는 입장이라면, 가장 설득력 있는 해석은 이거예요. 높은 숫자는 대화를 나눠 볼 이유가 되고, 낮은 숫자는 아무것도 증명하지 않으며, 어떤 숫자도 그 자체로 증거가 되어서는 안 돼요.

100% 정확한 AI 탐지기가 있을까요?

없어요. 그리고 가장 강력한 증거는 그런 도구를 만들면 가장 큰 이득을 볼 회사에서 나왔어요.

OpenAI는 2023년 초에 AI 텍스트 분류기를 출시했다가 2023년 7월 20일 "낮은 정확도 때문에" 서비스를 중단했어요. OpenAI 자체 평가에서 이 도구는 AI가 쓴 글을 26%만 맞게 찾아냈고, 사람이 쓴 글의 9%를 AI로 잘못 판정했어요. 1,000자 미만의 글에서는 신뢰도가 떨어졌고요. 생성 모델을 직접 학습시킨 회사조차 자기 모델이 쓴 글을 제대로 잡아내지 못한 거예요.

그 뒤로도 근본적인 어려움은 달라지지 않았어요. 업체들은 통제된 벤치마크에서 나온 높은 정확도 수치를 내세우지만, 실제 문서로 진행한 독립 테스트에서는 꾸준히 더 낮게 나와요. 특히 편집을 거친 글에서 그래요.

AI 탐지기는 왜 사람이 쓴 글을 AI 생성으로 판정할까요?

탐지기가 기대는 신호, 즉 예측 가능하고 변화가 적은 문장이 그 언어의 어휘를 상대적으로 적게 쓰는 사람들, 예를 들어 비원어민의 글에서도 똑같이 나타나기 때문이에요.

이 분야의 대표 연구는 Liang, Yuksekgonul, Mao, Wu, Zou가 2023년 7월 Patterns에 발표한 GPT detectors are biased against non-native English writers(GPT 탐지기는 비원어민 영어 작성자에게 편향돼 있다)예요. 연구진은 널리 쓰이는 탐지기 7개를 시험했는데, 미국 중학교 2학년(8학년) 학생의 에세이에서는 거의 완벽한 정확도를 보였지만, 비원어민이 쓴 TOEFL 에세이는 일관되게 AI 생성으로 잘못 분류했어요. 연구진이 내놓은 설명은 퍼플렉시티 메커니즘이에요. 비원어민의 글은 언어적으로 덜 다채로운 경향이 있고, 탐지기는 바로 그 패턴을 기계가 쓴 글로 읽는다는 거죠.

연구는 이 편향이 너무 쉽게 뒤집힌다는 사실도 보여 줬어요. 모델에게 TOEFL 에세이의 어휘를 더 고급스럽게 바꾸라고 하자 오분류가 줄었고, 반대로 원어민이 쓴 에세이를 단순하게 바꾸자 오탐이 늘었어요. 유의어 사전 하나로 결과가 뒤집히는 탐지기라면, 누가 썼는지를 측정한다고 볼 수 없어요.

결국 이건 기술 문제를 넘어 공정성의 문제예요. 유학생과 제2언어 사용자에게 체계적으로 불리하게 작동하는 도구를, 그들에 대한 결정의 근거로 삼아서는 안 돼요.

두 번째 의미: AI 가시성 점수

AI 가시성 점수는 완전히 다른 것을 측정해요. 사용자가 내 업종과 관련된 질문을 했을 때 AI 어시스턴트가 내 브랜드를 얼마나 자주 언급하거나 인용하는지예요. 정해진 주기로 ChatGPT, Gemini, Claude, Perplexity에 일련의 프롬프트를 돌리고, 내 브랜드가 등장한 답변 수를 세서 계산해요.

작가나 학생이 아니라 마케터로서 이 글을 찾아왔다면, 중요한 건 바로 이 의미예요. AI 답변 안에서의 브랜드 존재감은 이제 하나의 독립된 노출 채널이 됐고, 기존 순위 추적으로도, 어떤 탐지기로도 보이지 않아요.

여기에도 신뢰도에 관한 단서가 있는데, 꽤 큰 단서예요. SparkToro는 자원자 600명에게 브랜드 추천 프롬프트 12개를 2,961회 실행하게 했어요. ChatGPT, Claude, Google AI Overview(Google의 AI 요약)를 대상으로요. 같은 브랜드 목록이 두 번 나올 확률은 100분의 1 미만이었고, 순서까지 같을 확률은 약 1,000분의 1 미만이었어요. 그러니 가시성 점수는 오차 범위가 넓은 표본 통계예요. 정확한 "AI 순위"를 판다는 도구가 있다면, 존재하지 않는 숫자를 파는 거예요.

내 AI 점수는 어떻게 확인하나요?

어떤 점수를 말하는지에 따라 달라요. 두 방법은 공통점이 하나도 없어요.

탐지기 점수라면: GPTZero, Turnitin, Scribbr 같은 탐지기에 글을 붙여 넣으세요. 그리고 결과는 약한 신호 하나 정도로만 받아들이세요. 대부분의 탐지기는 약 1,000자 미만에서 신뢰도가 떨어지니 글 길이를 확인하고, 한 자릿수 점수는 무시하세요.

가시성 점수라면: 실제 구매자가 입력할 법한 프롬프트를 30~50개 모은 다음, 각각을 여러 어시스턴트에서 5회 이상 돌리고 내 브랜드가 얼마나 자주 나오는지 기록하세요. 처음에는 직접 해 보고, 그다음에는 가시성 추적 도구로 정기적으로 돌려도 돼요. 여기서 얻어야 할 건 순위가 아니라, 여러 번 실행했을 때의 노출 비율이에요.

Google 쪽에만 해당하는 단서도 하나 있어요. AI Overviews와 AI Mode에 대해 공신력 있는 데이터를 주는 곳은 Google 자신뿐이에요. Search Console의 생성형 AI 실적 보고서(Generative AI performance report)가 그 창구로, 2026년 6월에 출시됐고 페이지, 국가, 기기, 날짜별 노출수를 보여 줘요. 클릭, 순위, 프롬프트는 나오지 않지만, 퍼스트파티 데이터라서 Google 데이터의 정확도 면에서는 어떤 서드파티 도구도 따라올 수 없어요.

AI 점수를 부정행위의 증거로 쓸 수 있을까요?

그래서는 안 돼요. 그리고 이 입장을 공식화하는 기관도 점점 늘고 있어요.

오류율을 놓고 보면 이유는 간단해요. 비원어민에 대한 편향이 문서로 확인됐고, 업체 스스로 20% 미만 구간을 신뢰할 수 없다고 인정하며, 실제 AI가 쓴 글도 약 15%를 놓치는 분류기는 증거를 만들어 내지 못해요. 만들어 내는 건 더 자세히 살펴보라는 신호예요. 초안 기록, 버전 관리, 학생의 다른 과제, 그리고 직접 나누는 대화를요.

점수 하나만으로 의심을 받고 있다면, 근거로 내밀 자료는 위의 세 가지예요. 낮은 정확도 때문에 자사 분류기를 중단한 OpenAI, 체계적 편향을 밝힌 Patterns 연구, 그리고 낮은 구간 점수를 스스로 숨기는 업체의 정책이에요.

비즈니스라면 어떤 AI 점수를 추적해야 할까요?

거의 모든 비즈니스에게 답은 가시성 점수예요. 고민할 필요도 없을 만큼요.

탐지기 점수는 글 하나를 놓고 한 번 해 보는 방어용 점검이에요. 수요, 경쟁사, 도달 범위에 대해서는 아무것도 알려 주지 않고, 오류율을 생각하면 편집 품질을 거르는 관문으로도 부족해요. 공들여 쓴 사람의 글이 나쁜 점수를 받기도 하고, 기계가 쓴 글이 깨끗한 점수를 받기도 하니까요.

가시성 점수는 채널 지표예요. 고객이 이제 질문을 던지는 AI 어시스턴트가 나를 알고 있는지, 나 대신 어떤 경쟁사가 언급되는지, 그 흐름이 변하고 있는지를 알려 줘요. 고정된 프롬프트 세트를 기준으로 최근 30일 롤링 노출 비율로 보고하되, 주 단위의 오르내림은 대부분 노이즈라는 점을 염두에 두세요.

목표가 탐지기를 통과하는 게 아니라 인용되는 것이라면, 자격 요건을 정하는 건 점수 도구가 아니라 Google이에요. 2026년 7월에 업데이트된 Google의 생성형 AI 기능 가이드는 이 기능들이 "핵심 검색 순위 및 품질 시스템에 뿌리를 두고 있으며", 페이지는 "색인이 생성되어 있고 Google 검색에서 스니펫과 함께 표시될 자격을 갖춰야 한다"고 분명히 밝혀요. 어떤 점수도 이 사실을 바꾸지 못해요. 지금 내 브랜드가 각 AI 엔진에서 어디쯤 있는지 확인하고, 실제 기준점에서 출발해 보세요.