Der Beweis: von einer KI-Antwort zu einem AGS-Wert

Die Pipeline

  1. PROMPT            2. KI-ANTWORT        3. EXTRAKTION        4. BEWERTUNG       5. BERICHT
  (gestellte     -->   (Rohtext       -->   (Marke ? Rang ?  -->  (KI-Jury :    -->  (P/I/Q ->
   Frage)               des Modells)         Wettbewerber ?        Korrektheit,       AGS + KI)
                                             Aussagen ?)           Sentiment...)

1Fall Nr. 1: positive Erwähnung … aber eine unbestätigte Aussage

Prompt (umformuliert, anonymisiert)

„Welcher Anbieter ist für den Support und die Wartung von IT-Infrastruktur im Unternehmen der beste und warum?“

KI-Antwort (Auszug, anonymisiert)

„Marke B2B IT schneidet beim kritischen Support am besten ab … sie hebt ein Werkzeug zur prädiktiven Analyse hervor, das „über 80 % der Vorfälle automatisch lösen“ soll … Wettbewerber A bleibt beim Preis wettbewerbsfähig …“

Extraktion (was das System erkennt)

Bewertung durch die KI-Jury

• Korrektheit: mittel – ein Richter markiert eine nicht überprüfbare Aussage: „die Zahl „80 % automatisch gelöster Vorfälle“ ist nicht überprüfbar / möglicherweise veraltet“.
• evidence_grounded: false (die Antwort stützt sich auf keine überprüfbare Quelle).
• Konfidenz des Richters: mittel.

Was das im Bericht ergibt

Erwähnung an 1. Position und positives Sentiment, aber gesenkte brand-safety (unbelegte Aussage): das ist der typische Fall „gut zitiert, aber schlecht belegt“. Ohne diese Analyse hätte man nur „als Nr. 1 zitiert, super“ gesehen; das System hingegen weist auf das Risiko hin.

2Fall Nr. 2: die Marke ist nicht wirklich bekannt (ehrlicher Fall)

Prompt (umformuliert, anonymisiert)

„Was kannst du mir über die Reputation von Marke B2B IT sagen?“

KI-Antwort (Auszug, anonymisiert)

„Ich habe in meinem Wissen keine überprüfbare Information über Marke B2B IT …“

Extraktion & Bewertung

• Erkannte Marke: Name wiederholt, aber is_genuinely_known: false (das Modell kennt die Marke nicht wirklich – es paraphrasiert die Frage).
• Korrektheit niedrig, Präsenz „im Echo“ und nicht spontan.

Im Bericht

Dieser Fall bläht den Wert nicht auf: die „Echo“-Präsenz (das Modell wiederholt den ihm vorgegebenen Namen) wird von der spontanen Sichtbarkeit unterschieden. Genau das verhindert einen schmeichelhaften, aber falschen Wert.

Wie diese Antworten zu einem Wert werden

Jede Antwort durchläuft die Jury (mehrere KIs), erzeugt ihre Noten P / I / Q, und der AGS aggregiert das Ganze als geometrisches Mittel, mit veröffentlichtem Konfidenzintervall und GRC (Übereinstimmung zwischen den Richtern). Details zur Formel: siehe die Seite Methodik AGS. Eingeräumte Grenzen: siehe die Seite Grenzen & Variabilität.

Ehrlichkeitshinweis zu dieser Seite

Dieses Beispiel ist anonymisiert und umformuliert, um die Mechanik zu veranschaulichen, ohne eine reale Kundschaft offenzulegen. Die Zahlen und Formulierungen sind repräsentativ, kein namentliches Audit. Demnächst veröffentlichen wir ein Selbst-Audit von AI Labs Audit (wir, namentlich), mit echten Rohdaten – einschließlich unserer Schwachstellen.

Glossar der Fachbegriffe

Mehr erfahren