EN
FR
ES
DE
IT
KO
JA
Anchor set은 지속적으로 재측정되는 통제 브랜드 패널입니다. 안정적인 기준을 추적하면 AI 모델 드리프트를 감지하고 고객사의 점수를 보정하여 실제 AI 가시성 변화만을 도출할 수 있습니다.
문제: 모델은 계속 변한다
제공업체가 모델을 업데이트하면 브랜드가 아무 조치도 하지 않았더라도 답변 — 그리고 따라서 점수 — 가 바뀔 수 있습니다. 이것이 모델 드리프트입니다. 이러한 안전장치가 없으면 해당 변동이 브랜드의 성과로 잘못 판단됩니다.
해결책: 컨트롤 패널
Anchor set은 지속적으로 재측정되는 기준 브랜드 그룹입니다. 모든 브랜드가 동시에 같은 방향으로 움직이면 이는 실제 변화가 아니라 모델 드리프트의 신호입니다. 그때 고객사의 점수를 이에 맞게 보정할 수 있습니다.
AGS에서의 활용
AGS는 신호(브랜드의 실제 변화)와 노이즈(모델 드리프트)를 분리하기 위해 anchor set을 사용합니다. 이는 당사 방법론에 문서화된 측정의 한계에 대한 구체적인 대응 중 하나입니다.
고객이 브랜드명 없이 AI에 물으면 다른 곳이 추천됩니다. 담당 브랜드는 어떤가요?
ChatGPT에 대한 질문에서 답변에 브랜드가 언급되지 않을 때마다, 그 자리에는 경쟁사가 추천됩니다: 6,820개의 실제 AI 답변으로 측정된 결과입니다.