모델 드리프트(model drift)는 AI의 동작이 시간에 따라 변하는 현상을 말한다: 업데이트, 재학습, 버전 변경이 답변을 바꾼다. 그 결과 브랜드는 자사에서 아무 변화도 만들지 않았는데 가시성이 달라지는 것을 확인할 수 있다.

모델 드리프트란?

언어 모델은 고정되어 있지 않다: 제공사가 이를 업데이트하고, 재학습하고, 버전을 바꾼다. 그 결과 같은 질문도 달에 따라 다른 답변을 받을 수 있다. 이것이 모델 드리프트다.

측정 관점에서 왜 중요한가?

주의 장치가 없으면 이 드리프트는 브랜드 가시성의 실제 변동으로 오인된다. 점수가 오르거나 내리는 것은 단순히 ChatGPT 또는 Gemini의 업데이트를 반영했을 수 있으며, 브랜드의 어떤 조치 때문이 아닐 수 있다.

우리가 이를 관리하는 방법

AGS는 통제 브랜드의 앵커 세트를 사용해 이 드리프트를 격리한다. 단일 측정은 오해를 부른다: 그래서 우리는 시간에 따른 추적을 중시한다. 우리가 인정한 한계를 참조하십시오.

고객이 브랜드명 없이 AI에 물으면 다른 곳이 추천됩니다. 담당 브랜드는 어떤가요?

ChatGPT에 대한 질문에서 답변에 브랜드가 언급되지 않을 때마다, 그 자리에는 경쟁사가 추천됩니다: 6,820개의 실제 AI 답변으로 측정된 결과입니다.