EN
FR
ES
DE
Der Modell-Drift bezeichnet die Veränderung des Verhaltens einer KI im Zeitverlauf: Aktualisierungen, Neu-Trainings und Versionswechsel verändern ihre Antworten. So kann sich die Sichtbarkeit einer Marke verschieben, ohne dass diese ihrerseits etwas geändert hat.
Was ist der Modell-Drift?
Die Sprachmodelle sind nicht in Stein gemeißelt: Die Anbieter aktualisieren sie, trainieren sie neu, wechseln die Version. Folglich kann ein und dieselbe Frage von einem Monat zum nächsten unterschiedliche Antworten erhalten. Das ist der Modell-Drift (model drift).
Warum ist das für die Messung wichtig?
Ohne Vorkehrungen würde man diesen Drift mit einer echten Schwankung der Sichtbarkeit einer Marke verwechseln. Ein steigender oder fallender Wert könnte schlicht eine Aktualisierung von ChatGPT oder Gemini widerspiegeln und nicht eine Maßnahme der Marke.
Wie wir ihn beherrschen
Das AGS isoliert diesen Drift mithilfe eines Anchor Sets aus Kontrollmarken. Eine Einzelmessung ist trügerisch: Deshalb setzen wir auf die Verfolgung des Trends im Zeitverlauf. Siehe unsere bewusst benannten Grenzen.
Jede Frage an ChatGPT ohne Ihren Namen in der Antwort ist ein Wettbewerber, der an Ihrer Stelle empfohlen wird — gemessen an 6 820 echten KI-Antworten.