AI 모델은 23%의 질문에서 브랜드 언급이 엇갈렸다

핵심 요약. 실제 감사에서 수집한 617개 질문을 평균 4.3개 모델에 제시한 결과, 질문의 23%에서 브랜드 등장 여부가 엇갈렸다. 한 모델은 브랜드를 언급했지만 다른 모델은 언급하지 않았다는 뜻이다. 이 수치는 답변의 진위나 원인을 판정하지 않는다. 감사를 선택한 브랜드에서 나온 표본이므로 모든 브랜드를 대표하지도 않는다.

23%가 정확히 측정하는 것

이 계산의 대상은 답변에 브랜드가 등장하는지 여부라는 하나의 사건이다. 각 질문에 대해 조사한 모델들이 생성한 텍스트를 살펴 브랜드명이 나오는지 확인한다. 적어도 한 모델은 브랜드를 언급하고 적어도 다른 한 모델은 언급하지 않으면 그 질문을 불일치 사례에 포함한다. 따라서 23%는 전체 617개 질문 가운데 이러한 조건을 충족한 질문의 비율이다. 같은 질문 안에서 관찰된 결과의 차이를 집계한 값이며, 서로 다른 질문을 임의로 비교한 수치가 아니다.

이처럼 범위를 좁게 정의하면 측정 결과를 지나치게 확장하는 실수를 줄일 수 있다. 이 지표는 답변의 품질, 어조, 길이, 추천 순서, 개별 주장의 정확성을 측정하지 않는다. 어떤 답변은 브랜드를 신중하게 언급할 수도 있고, 사실과 다르거나 질문의 취지에서 벗어난 맥락에서 언급할 수도 있다. 반대로 브랜드를 언급하지 않는 답변도 사용자에게 충분히 유용할 수 있다. 등장 여부를 확인한 뒤에도 답변의 내용과 정확성은 별도의 기준으로 검토해야 한다.

모델 하나만으로는 부분적인 측정에 그치는 이유

AI 모델은 언제나 같은 결과를 내는 서로 바꿔 쓸 수 있는 채널이 아니다. 하나의 시스템에 질문하면 특정 모델, 특정 시점, 특정 응답 모드, 특정 문구라는 조건에서 관찰 하나를 얻는다. 다른 모델이 브랜드를 언급하지 않았다고 해서 첫 번째 답변이 자동으로 거짓이 되는 것은 아니다. 두 결과가 다르다는 사실은 브랜드 등장 여부가 질문 자체뿐만 아니라 측정 조건에 따라서도 달라질 수 있음을 보여 준다.

따라서 한 번 캡처한 화면은 조사를 시작하는 신호로는 유용하지만 일반적인 결론을 내리는 근거로는 약하다. 여러 상황을 비교하려는 팀은 같은 질문을 유지하고 사용한 모델과 설정을 기록해야 한다. 수집 시점과 응답 모드도 함께 남겨야 나중에 조건을 복원할 수 있다. 이런 맥락이 없다면 겉보기에 모순되는 두 결과가 실제로는 서로 다른 조건에서 나온 정상적인 관찰인지조차 구분하기 어렵다.

가능한 작동 방식과 확립된 원인은 다르다

서로 다른 답변에는 여러 작동 방식이 기여할 수 있다. 모델마다 학습 자료와 업데이트 시점이 다를 수 있고, 응답 규칙과 출처 선택 방식도 다를 수 있다. 질문을 표현하는 방식이나 웹 검색 기능의 활성화 여부 역시 결과에 영향을 줄 가능성이 있다. 다만 이들은 검토해 볼 만한 가설이다. 617개 질문만으로 하나의 원인을 분리해 확정하거나 특정 차이를 제공자의 구체적인 결정 탓으로 돌릴 수는 없다.

한 답변에서 빠졌다고 전반적으로 존재하지 않는 것은 아니며, 한 번 언급되었다고 안정적인 등장이 입증되는 것도 아니다.

웹 검색과 모델의 기억은 서로 다른 응답 맥락이다

출처: 2025년 9월부터 2026년 6월까지 수집한 데이터를 다룬 2026년 바로미터. 표는 두 모드를 모두 측정한 63개 감사의 하위 표본을 다룬다. 이 연구의 617개 질문이나 관측소의 현재 집계와는 범위가 다르다.

응답 조건	평균 가시성 점수(/100)	비교한 감사 수
네이티브, 웹 검색 없음	63.4	63
웹 검색 사용	70.5	63
웹 점수에서 네이티브 점수를 뺀 차이	7.1	63

차이는 점수 7.1포인트이며 브랜드 등장 비율 7.1%가 아니다. 모든 브랜드에 적용할 평균도 아니다. 네이티브 모드는 외부 웹 검색을 활성화하지 않은 상태의 답변을 측정한다. 브랜드가 학습 데이터에 포함되었다는 증거는 아니다.

출처를 검토하되 과도하게 해석하지 않는 방법

모델의 답변은 서로 다른 신호와 출처에 기반할 수 있다. 답변에 출처가 표시되어 있다면 브랜드가 직접 공개한 정보와 제3자가 게시한 정보가 일치하는지 점검할 수 있다. 그러나 출처 목록이 인과관계를 자동으로 밝혀 주는 것은 아니며, URL이 열리지 않는다는 사실도 해당 정보를 지어낸 것이라는 증거가 되지는 않는다.

URL이 열리지 않는 이유는 다양하다. 페이지가 다른 주소로 이동했거나 리디렉션이 설정되었을 수 있고, 접근 권한 때문에 확인하지 못할 수도 있다. 일시적인 장애나 주소를 옮기는 과정의 오기도 가능하다. 따라서 URL 자체를 보관하고 현재 상태를 확인한 다음, 해당 주장을 원래 문맥 안에서 읽어야 한다. 결론은 추측이 아니라 실제로 검증된 요소에 관해 남겨야 하며, 확인이 끝나지 않았다면 그 사실을 명시하는 편이 정확하다.

여러 모델을 비교하는 감사를 기록하는 방법

비교 결과를 나중에 다시 사용할 수 있으려면 최소한 정확한 질문 문구, 언어, 모델, 응답 모드, 수집 날짜, 답변 전문, 브랜드 등장 결과를 보존해야 한다. 화면에 출처가 표시되었다면 표시된 출처도 함께 기록하되 인과관계의 증거와 혼동해서는 안 된다. 사례별 기록이 있으면 전체 비율 뒤에 있는 실제 답변으로 돌아갈 수 있다. 집계 수치만 남기면 왜 불일치로 분류되었는지 검토하기 어렵다.

• 추천 요청, 비교 요청, 구체적인 문제 해결 요청은 서로 다른 의도이므로 같은 종류의 질문끼리 비교한다.
• 시간에 따른 변화를 살피는 것이 목적이라면 질문의 표현과 조건을 가능한 한 일관되게 유지한다.
• 비율을 요약하기 전에 답변 원문을 읽고 특히 모델 사이 결과가 다른 사례를 자세히 확인한다.
• 해석 단계에서 브랜드 등장 여부, 사실의 정확성, 답변의 어조, 제시된 출처를 각각 구분한다.

사용 가능한 설정과 수집 당시 표시된 출처도 보관한다. 다른 검토자도 두 답변의 등장 여부가 왜 다르게 분류되었는지 이해할 수 있어야 한다. 등장 여부를 표시한 칸만으로는 단서나 맥락을 남길 수 없다. 답변 전문을 보관해야 한다.

23%를 올바른 단위로 읽어야 하는 이유

이 기술적인 구분은 실제 의사결정을 보호한다. 전체 비율을 모든 패널에 일률적으로 적용하면 세부 분포가 가려진다. 특정 브랜드나 특정 유형의 질문에 차이가 몰려 있을 수도 있고, 다른 영역은 수집된 답변에서 비교적 안정적일 수도 있다. 그러한 분포는 전체 평균만으로 알 수 없다. 브랜드별, 질문 유형별, 모델별 사례를 담은 상세 자료를 살펴야 실제로 어떤 구조인지 검토할 수 있다.

이 측정이 실무에 알려 줄 수 있는 것

우리의 판단은 명확하다. 모델 간 가시성을 평가하려면 단일 모델 감사로는 부족하다. 질문의 23%에서 등장 여부가 엇갈렸다는 결과가 그 근거다. 다만 이 수치가 모든 감사에 필요한 모델 수를 정해 주지는 않는다. 유리한 화면 캡처 하나로 전체 상황을 검증할 수는 없다.

브랜드의 사업에 중요한 구매 관련 질문부터 고른다. 같은 문구를 여러 모델에 제시하고 네이티브 모드와 웹 검색 모드를 분리한 뒤, 결과가 엇갈린 사례를 먼저 살핀다. 각 사례에서 빠진 정보, 틀린 정보, 검증 가능한 출처로 브랜드가 바로잡을 수 있는 정보를 기록한다. 이는 우리가 권하는 작업 방식이며 이번 연구에서 효과를 측정한 조치는 아니다.

추세를 만들어 내지 않으면서 변화를 추적하는 방법

모델과 그 답변은 시간에 따라 바뀐다. 같은 질문 묶음을 반복하면 관찰을 비교할 수 있지만 질문, 언어, 모델, 응답 모드를 한꺼번에 바꾸지 않아야 한다. 여러 조건이 동시에 달라지면 수치의 차이는 발견할 수 있어도 무엇 때문에 생겼는지 해석하기 어렵다. 따라서 곡선 하나만 보여 주는 대시보드보다 각 관찰의 조건을 추적할 수 있는 기록이 더 유용하다.

추적 자체가 앞으로의 변화 방향을 보장하지는 않는다. 상승이나 하락을 관찰할 수 있지만 그것만으로 최근에 수행한 작업의 효과가 자동으로 입증되지는 않는다. 변화를 특정 가설과 연결하려면 변경 사항과 시점을 기록하고 답변 전문을 보관하며 비교 대상의 범위가 일관되는지 확인해야 한다. 외부 조건이나 모델 업데이트 가능성도 열어 두어야 관찰된 변화를 원하는 결론에 억지로 맞추지 않을 수 있다.

결과와 함께 반드시 드러내야 할 한계

617개 질문은 감사를 받기로 선택한 브랜드에서 나왔다. 즉 브랜드가 스스로 감사를 선택했으므로 이 표본은 모든 브랜드를 대표하지 않는다. 평균 4.3개 모델이라는 수치도 이번 수집의 조건을 설명할 뿐 모든 연구가 따라야 할 기준은 아니다. 또한 불일치는 답변의 모든 측면이 아니라 브랜드 등장 여부에 관한 것이다. 이러한 한계를 생략하면 수치의 의미가 실제보다 넓어져 버린다.

결론: 구호보다 사례와 분포를 살펴야 한다

우리의 우선순위는 수정에 착수하기 전에 불일치를 검증 가능하게 만드는 것이다. 사례를 보관하고 확인할 정보를 정한 뒤 문서화된 조건에서 비교를 반복한다. 무엇을 조사할지 정할 때는 점수 하나보다 이 기록이 더 유용하다.

더 자세한 맥락은 2026년 바로미터, AGS 방법론, 관측소, 브랜드 AI 가시성 감사 가이드에서 확인할 수 있다. 각 자료를 읽을 때도 관찰된 사실과 가능한 설명을 구분하고, 개별 사례와 전체 분포를 함께 살펴야 수치를 균형 있게 해석할 수 있다.