AI技術

モデルドリフト(model drift)

モデルドリフトとは、AIの動作が時間とともに変化する現象を指します。更新、再トレーニング、バージョン変更により回答が変わります。ブランド側で何も変更していなくても、可視性が変動することがあります。

モデルドリフトとは何か?

言語モデルは固定的ではありません。プロバイダーは更新、再トレーニング、バージョン変更を行います。その結果、同じ質問でも月ごとに異なる回答を得ることがあります。これがモデルドリフト(model drift)です。

測定において重要な理由

注意を払わなければ、このドリフトをブランド可視性の真の変動と混同してしまいます。スコアの上昇や下降は、ブランドの施策ではなく、ChatGPTやGeminiの更新を単に反映しているだけかもしれません。

管理方法

AGSは、基準ブランドのanchor setを用いてこのドリフトを分離します。単一の測定は誤解を招きます。そのため、時系列でのトレンド追跡を優先します。想定される限界をご覧ください。

AIの回答で、担当するブランドはどのように紹介されていますか?

代理店、コンサルタント、社内チーム向け。独自のシナリオと選択した言語・モデルで得られた回答を比較できます。私たちのインフラと、皆様のシナリオ・専門知識を組み合わせてください。

さらに詳しく

このテーマを掘り下げた記事をご覧ください

Lire l’article