AGS-Methodik: AI Grading System | AI Labs Audit

In 30 Sekunden

AGS (AI Grading System) ist eine offene Methode zur Messung der Markensichtbarkeit in KI-Antworten. Für jede Antwort bewerten wir drei Dinge: Ist die Marke präsent, ist das Gesagte wertsteigernd, ist die Antwort zuverlässig, mit einem Pool unabhängiger Urteiler (ein Urteiler pro Antwort, Doppelbewertung auf einer Stichprobe). Der Endscore kombiniert die drei Noten so, dass eine Schwäche nicht verdeckt werden kann. Vor allem ist es eine Methode: Sie können sie verstehen, prüfen und hinterfragen. Veröffentlichte Version: AGS v2, Formel v4.

Diese Methode lässt sich auf mehreren Ebenen lesen: eine Definition in 30 Sekunden, ein Schaubild, die Erläuterung der Dimensionen, die Formel und schließlich der Anhang zur Reproduzierbarkeit. Eine Marketingleitung, eine GEO-Beratung und eine forschende Person sollen sich alle wiederfinden, jede auf der Detailebene, die ihr entspricht.

Das Schaubild

                 +---------------------------------------------+
   Szenario --->  |  Antwort eines KI-Modells (ChatGPT usw.)    |
                 +---------------------------------------------+
                                     |
                                     v
                 +---------------------------------------------+
                 |   JURY = mehrere unabhängige KI-Richter     |
                 |   (versch. Anbieter, gegen Selbstpräferenz) |
                 +---------------------------------------------+
                                     |
          +--------------------------+--------------------------+
          v                          v                          v
     P - Präsenz                I - Einfluss               Q - Qualität
     (M, RP, WC)              (INF, UNQ, REL)             (SENT, ACC)
          +--------------------------+--------------------------+
                                     v
                        AGS = (P x I x Q) ^ (1/3)
                  (geometrisches Mittel: eine Null in
                   einer Dimension lässt den Wert kollabieren)

Das geometrische Mittel ist gewollt: Eine fehlende Präsenz lässt sich nicht durch ein gutes Sentiment ausgleichen. Sehr viel schwerer aufzublähen als ein klassischer Durchschnitt.

Was ist AGS?

AGS ist ein Multi-Modell-Bewertungsprotokoll. Anstatt sich für die Bewertung Ihrer Markensichtbarkeit auf einen einzigen LLM zu verlassen (Verzerrungen, Halluzinationen, Modell-Drift), verteilt AGS die Bewertungen auf einen Pool von Modellen verschiedener Anbieter und veröffentlicht deren Abweichung. Je geringer die Abweichung, desto zuverlässiger der Score.

Die 3 bewerteten Dimensionen

• P (Präsenz): Wird Ihre Marke in der Antwort erwähnt, an welcher Position und über wie viele Szenarien? Kombiniert Erwähnung, Rang und Abdeckung.
• I (Einfluss): Liefert die Antwort bei einer Erwähnung nützliche, einzigartige und relevante Informationen? Kombiniert Informativität, Einzigartigkeit und Relevanz.
• Q (Qualität): Ist die Erwähnung positiv und sachlich korrekt? Kombiniert Sentiment und Genauigkeit.

Die Formel (öffentliche Methode, proprietäre Gewichtungen)

AGS = (P x I x Q) ^ (1/3), jede Dimension auf einer Skala von 0 bis 100 bewertet. Jede Dimension ist eine gewichtete Kombination von Teilmetriken:

• P: Präsenz = Kombination aus Erwähnung (M), Rang / Position (RP) und Abdeckung (WC).
• I: Einfluss = Kombination aus Informationsgehalt (INF), Einzigartigkeit (UNQ) und Relevanz (REL).
• Q: Qualität = Kombination aus Sentiment (SENT) und Korrektheit (ACC).

Die genauen Werte der Gewichtungen sind Teil unserer proprietären Methodik: Sie sind normalisiert (Summe = 1), kalibriert und versioniert sowie über den judge_config_hash nachvollziehbar (der garantiert, dass zwei Audits mit demselben Hash exakt dieselbe Jury-Konfiguration verwendet haben; die Vergleichbarkeit hängt auch von Markt, Sprache, Zeitraum und den befragten Modellen ab). Wir veröffentlichen die Methode, Struktur, geometrisches Mittel, Dimensionen, Teilmetriken, Jury, Verlässlichkeit, ohne die genaue Gewichtung offenzulegen, die zu unserem Know-how gehört.

Jury & Reproduzierbarkeit

Jede Antwort wird von einem primären Urteiler aus einem Pool von Modellen verschiedener Anbieter bewertet. Etwa 20 % der Antworten werden von einem zweiten Urteiler doppelt bewertet, um die Übereinstimmung zu messen (GRC). Der Pool kombiniert etwa OpenAI, Anthropic, Google, Mistral und DeepSeek: Die Liste ändert sich, der judge_config_hash (SHA-256) ist die stabile Referenz.

Die tatsächliche Konfiguration jedes Audits (Modelle + Gewichte + Bewertungsrubriken) wird über seinen judge_config_hash (SHA-256) nachverfolgt: Er ist die stabile Referenz. Zwei Audits mit demselben Hash sind strikt vergleichbar, und jede Änderung der Jury wird nachvollziehbar.

• GRC: Urteiler-Zuverlässigkeit (McDonald's Omega, Spearman-Brown-Form ω₂ = 2r/(1+r)) auf Items, die von zwei verschiedenen Urteilern doppelt bewertet werden. Wird veröffentlicht, sobald mindestens 5 Paare vorliegen.
• Konfidenzintervall, das auf den Präsenzwerten angezeigt wird: Die Unsicherheit wird sichtbar gemacht, nicht nur eine Zahl.
• Anchor set: Ein Panel von Referenzmarken beobachtet die Modell-Drift über die Zeit. Diese Beobachtung fließt nicht in den Kunden-AGS-Score ein; die EWMA-Kalibrierung über Audits hinweg absorbiert bereits einen großen Teil der Urteiler-Drift.

Bewertungsprotokoll

Für jedes auditierte Szenario sendet AGS identische Anweisungen an die Bewertungsmodelle (Zero-Shot-Bewertung). Die Bewertungen werden im Rotationsverfahren auf den Pool verteilt, ein Teil davon wird doppelt vergeben, um die Übereinstimmung zwischen den Bewertern zu messen. Anschließend werden die Punktzahlen aggregiert und kalibriert. Das Endergebnis umfasst den Durchschnittsscore, die Abweichung zwischen den Bewertern und das 95-%-Bootstrap-Konfidenzintervall.

Urteiler-Zuverlässigkeit (GRC)

AGS veröffentlicht den GRC-Urteiler-Zuverlässigkeitskoeffizienten für jedes Audit, wenn die doppelt bewertete Stichprobe es erlaubt. Der GRC nutzt McDonald's Omega (Spearman-Brown-Form für zwei Bewerter). Näher bei 1 bedeutet bessere Übereinstimmung. In der Praxis: über 0,80 ist der Score sehr stabil; zwischen 0,60 und 0,80 ist die Übereinstimmung akzeptabel; unter 0,60 mit Vorsicht interpretieren und die Frage umformulieren.

Transparenz und Reproduzierbarkeit

Jedes AGS-Audit erzeugt einen kryptografischen Hash der Szenarien, Rohantworten und Einzelpunktzahlen. Diese Signatur beweist, dass die Punktzahl nicht manipuliert wurde. Die AGS-Methode (Struktur, Formel, Teilmetriken) ist veröffentlicht; die genauen Gewichtungen bleiben proprietär. Die zugehörige AQA-Spezifikation ist offen (MIT-Lizenz) auf github.com/sarsator/aqa-specification. Jeder Kunde kann einen Score prüfen oder anfechten.

AGS-Akronyme

GRC

GRC: Urteiler-Zuverlässigkeit (McDonald's Omega, Spearman-Brown-Form ω₂ = 2r/(1+r)) auf Items, die von zwei verschiedenen Urteilern doppelt bewertet werden. Wird veröffentlicht, sobald mindestens 5 Paare vorliegen.

GIS

Generative Inclusion Score: gewichteter Durchschnitt basierend auf der Position der Marke in der Antwort (zuerst erwähnt = 100%, zuletzt = 0%).

ASR

Answer Sentiment Rating: Tonalität der Erwähnung (positiv/neutral/negativ) auf einer Skala von -1 bis +1.

BVI

BVI (Brand Variance Index): ANOVA-Zerlegung der Score-Varianz (Signal, Urteiler, Prompt, Modell). Zeigt, was die Note bewegt, keine Sichtbarkeitsprozentzahl.

CIA

CIA (Citation-Influence Asymmetry): Abstand zwischen dem Anteil zitierter Marken-URLs als Quellen und dem Anteil von Antworten, die Ihre Marke nennen. Über +20 füttern Sie die KIs, ohne empfohlen zu werden; unter -20 werden Sie empfohlen, ohne als Quelle zu erscheinen.

30 Advanced Checks GEO 2026

Sprint 15 hat 30 neue GEO/AEO-Signale geliefert, passiv gemessen (kein ToS-verletzendes Scraping). Diese Signale ergänzen das AGS-Scoring über die 6. Kategorie „advanced_signals" (15 % Gewichtung im Composite).

6 Marktunterscheidungsmerkmale

• A08: Specificity-Score (Princeton GEO 2024): Dichte tier-1-belegter Statistiken (Princeton GEO KDD 2024: bis zu +40 % mehr LLM-Zitate).
• A09: Gegenargument-Marker: Kein Konkurrenz-Tool misst Marker für ausgewogene Argumentation.
• A07: Datierte Aussagen
• S05: Common-Crawl-Aufnahme
• S08: llms.txt-RFC-Validierung
• B10: Stack-Overflow-Markenerwähnungen

Modul 6: External Authority Signals

Neues Modul für externe Autoritätssignale: LinkedIn, ProductHunt, G2/Capterra, Stack Overflow, GitHub, Substack/Medium.

Checks nach GEO-Modul

SSR / Crawlbarkeit

mainEntity | QAPage | Video-Transkripte | Speakable | @graph @id | inLanguage | Common Crawl | llms.txt | IndexNow | ai.txt | Verifizierungen | HTTP/3 | Brotli

Entity Health

Wikidata | DBpedia

Citation Readiness

Belegte Statistiken | Ausgewogene Argumentation | Inline-Datierung | ItemList | Dataset | Blockquote cite | Interne Links | Anchor-Entropy | News-Sitemap

External Authority

Stack Overflow | LinkedIn | GitHub | ProductHunt | B2B-Reviews | Newsletter

Alle Checks nutzen safe_external_call (Retry + Cache + Circuit Breaker) und speichern Ergebnisse in audits.advanced_checks_v2 (JSONB + GIN-Index).

Vollständiger Artikel im Blog: 30 neue GEO/AEO-Signale 2026: Stand der Technik auditiert.

Was wir messen: und was wir nicht messen

Was wir messen

Wir befragen die KI-Modelle über ihre offiziellen APIs, im nativen Modus (das Gedächtnis des Modells, ohne Navigation) und im Web-Modus (Online-Suche aktiviert), mit reproduzierbaren Fragen. Jedes Audit berechnet einen kryptografischen Fingerabdruck seiner Konfiguration: Zwei verglichene Audits sind wirklich vergleichbar.

Das Standard-Panel ist auf die Produkte ausgerichtet, die das Publikum tatsächlich nutzt (ChatGPT, Gemini, Perplexity, Claude, Mistral…), und das Dashboard zeigt eine nach dem realen Nutzungsanteil jedes Motors gewichtete Sichtbarkeit (Quellen Statcounter / SimilarWeb, datiert und überarbeitet).

Was wir nicht messen

Eine über die API erhaltene Antwort kann von der Verbraucheroberfläche desselben Produkts abweichen: Gesprächsgedächtnis, proprietäre Anweisungen, Geolokalisierung oder A/B-Tests des Anbieters. Wir messen den Motor, nicht die personalisierte Sitzung eines angemeldeten Nutzers.

KI-Antworten sind probabilistisch: Dieselbe Frage kann Varianten erzeugen. Deshalb messen wir über Dutzende von Fragen hinweg, mit Konfidenzintervallen, statt anhand eines einzigen Tests.

Die für die Gewichtung verwendeten Nutzungsanteile sind datierte, regelmäßig überarbeitete Schätzungen Dritter: keine unüberprüfbaren internen Zahlen.

Warum dokumentieren wir unsere Grenzen? Weil eine Messung, deren Geltungsbereich unbekannt ist, nichts wert ist. Das macht unsere Scores gegenüber Ihren Kunden verteidigbar.

Glossar der Fachbegriffe

Mehr erfahren