30초 요약

  • 생성형 AI는 귀사에 대해 정기적으로 사실을 날조합니다: 잘못된 가격, 존재하지 않는 제품, 오래된 정보
  • AI Labs Audit의 Brand Safety 점수는 AI가 귀사 브랜드에 대해 생성하는 정보의 정확도 비율을 측정합니다
  • 각 AI 응답은 두 가지 기준으로 평가됩니다: 사실 정확도(Accuracy Score 0-10)와 브랜드에 대한 실제 지식(is_genuinely_known)
  • 환각은 구조화된 데이터, 출처가 명시된 FAQ, 최신 콘텐츠로 웹 존재감을 강화하여 수정할 수 있습니다

AI 모델은 의도적으로 거짓말을 하지 않지만, 귀사에 대한 사실을 정기적으로 날조합니다. 존재하지 않는 가격, 제공한 적 없는 제품, 잘못된 설립 날짜, 부정확한 위치 정보 등이 그 예입니다. 이러한 환각은 정확한 정보와 동일한 확신을 가지고 제시되며, 잠재 고객은 그 차이를 구분하지 못합니다. AI Labs Audit의 Brand Safety 점수는 이러한 오류를 자동으로 탐지하고 정량화합니다.

AI 환각의 실제 비용

환각은 단순히 결과 없는 오류가 아닙니다. 측정 가능한 비즈니스 영향을 미칩니다:

  • 신뢰 상실: 제품이 실제로는 299유로인데 99유로라고 읽은 잠재 고객은 영업 접촉 시점에 좌절하거나 불신하게 됩니다
  • 경쟁사 혼동: AI가 때때로 귀사 제품의 특징을 경쟁사 제품과 혼동하여 비교를 왜곡합니다
  • 연쇄 허위정보: ChatGPT의 환각이 OpenAI API를 사용하는 다른 도구에 의해 재사용되어 영향이 배가됩니다
  • 법적 위험: 귀사에 대한 허위 주장(존재하지 않는 인증, 날조된 파트너십)은 법적 문제를 야기할 수 있습니다

Brand Safety 점수 산정 방식

각 감사 시, AI Labs Audit의 점수 시스템은 두 가지 보완적 기준으로 각 AI 응답을 분석합니다:

Accuracy Score (0~10)

Accuracy Score는 AI가 귀사 브랜드에 대해 생성한 각 정보의 사실적 정확성을 평가합니다:

  • 8~10: 정확하고 검증 가능한 정보
  • 5~7: 부분적으로 정확하거나 불명확한 정보
  • 0~4: 부정확하거나 환각된 정보. 이러한 응답은 자동으로 사실 오류로 표시됩니다

is_genuinely_known 지표

이 지표는 AI가 귀사 브랜드를 실제로 알고 있는지, 아니면 일반적인 패턴을 기반으로 그럴듯한 응답을 만들어내는지를 판단합니다. is_genuinely_known = false인 응답은 AI가 귀사 업종의 기업이 제공해야 한다고 "생각하는" 것을 기반으로 정보를 날조한다는 것을 의미합니다.

이 두 지표의 조합을 통해 다음을 구분할 수 있습니다:

  • 실제 지식과 정확성: AI가 귀사를 알고 있으며 사실을 말합니다(이상적)
  • 실제 지식이지만 부정확: AI가 귀사를 알고 있지만 오래된 정보를 가지고 있습니다(수정 필요)
  • 그럴듯한 날조: AI가 귀사를 모르지만 신빙성 있는 사실을 날조합니다(위험)
  • 명백한 날조: AI가 귀사를 모르며 날조가 탐지 가능합니다(덜 위험하지만 해로움)

전체 Brand Safety 점수 (0~100)

Brand Safety 점수는 감사 중 수집된 모든 응답에 대한 사실적 신뢰성을 집계합니다. 87% 점수는 AI가 귀사 브랜드에 대해 생성한 정보의 87%가 사실적으로 정확하다는 것을 의미합니다.

점수 해석 방법:

  • 90% 이상: 우수함. 귀사 브랜드가 AI에 잘 알려져 있으며 정보가 신뢰할 수 있습니다
  • 70-89%: 양호하지만 개선 가능. 산발적인 오류가 존재하며, 아마도 오래된 정보와 관련이 있습니다
  • 50-69%: 우려스러움. 환각이 빈번하며 귀사 이미지에 잠재적으로 해를 끼칩니다
  • 50% 미만: 심각함. AI가 아는 것보다 더 많이 날조합니다. 긴급한 조치가 필요합니다

가장 빈번한 환각 유형

감사 분석 결과 반복되는 환각 패턴이 드러납니다:

  • 날조된 가격: AI가 업종 평균을 기반으로 귀사 제품에 가격을 부여하며, 종종 부정확합니다
  • 존재하지 않는 기능: 귀사가 제공하지 않는 기능을 추가하며, 경쟁사 기능과 혼동합니다
  • 허구의 역사: 설립 날짜, 창립자, 주요 이정표를 날조합니다
  • 잘못된 위치: 본사, 사무실 또는 서비스 지역이 부정확합니다
  • 날조된 파트너십: AI가 유명 기업과의 협력을 날조합니다
  • 허구의 인증: 귀사가 보유하지 않은 라벨이나 인증을 부여합니다

Brand Safety 점수 개선 방법

귀사 브랜드에 대한 환각을 줄이기 위한 가장 효과적인 조치:

  1. AQA 마크업으로 FAQ 강화: 날짜와 출처가 포함된 명시적인 질문-답변 쌍을 생성하십시오. AI는 구조화된 정보를 우선적으로 인용합니다
  2. Schema.org 마크업 업데이트: 구조화된 데이터(Organization, Product, LocalBusiness)는 AI에게 귀사에 대한 검증 가능한 정보를 제공합니다
  3. 최신의 사실적 콘텐츠 게시: 최신 가격 페이지, 완전한 제품 시트, 검증 가능한 핵심 정보가 포함된 "회사 소개" 페이지
  4. 인용된 출처 확인 및 수정: AI가 귀사에 대해 언급할 때 인용하는 웹 페이지를 식별하고 오래된 정보가 포함된 페이지를 수정하십시오
  5. Wikidata 항목 강화: AI는 Wikidata와 Wikipedia에 크게 의존합니다. 이러한 데이터베이스의 부정확한 정보는 모든 AI에 전파됩니다

귀사 브랜드에 대한 환각을 탐지하십시오

Brand Safety 측정하기