KI-Monitoring für belastbare Beobachtungen
KI-Antworten schwanken. Wer wissen will, ob sich die eigene Sichtbarkeit verändert, braucht keine Einzelabfrage, sondern eine Methode: feste Fragen, feste Systeme, Wiederholungen und eine Dokumentation, die auch kritische Nachfragen aushält.
Ein Screenshot
ist keine Messung.
Jemand stellt ChatGPT eine Frage, das Unternehmen wird genannt, der Screenshot geht durchs Haus. Eine Woche später die gleiche Frage, diesmal ohne Nennung, und die stimmung kippt. Beides sagt wenig aus. KI-Monitoring ersetzt diese Momentaufnahmen durch eine Reihe gleichartiger Beobachtungen, aus der sich eine Richtung ablesen lässt. Erst dann lohnt es sich, über Ursachen zu reden. Belastbare Beobachtungen sind der Kern jeder GEO-Messung: Nicht die Antwort einer KI an einem Tag zählt, sondern das Muster über Wochen.
Sieben Festlegungen, bevor die erste Abfrage läuft
Jede dieser Festlegungen beeinflusst das Ergebnis. Wer sie nicht dokumentiert kann zwei Abfragerunden später nicht mehr vergleichen.
| Festlegung | Warum sie zählt | Was wir dokumentieren |
|---|---|---|
| Fragenkatalog | Andere Formulierung, andere Antwort. Der Katalog ist die Messlatte und bleibt über alle Runden gleich. | Jede Frage mit Wortlaut, Recherchephase und Ziel (Nennung, Zitat oder Empfehlung) |
| Systemauswahl | Jedes System zieht andere Quellen heran und verarbeitet sie anders. Ergebnisse lassen sich nicht übertragen. | System, Produktvariante und, soweit sichtbar, Modellversion |
| Sprache und Standort | Eine deutsche Frage aus Bonn liefert andere Quellen als eine englische aus Berlin. | Sprache der Frage, eingestellte Region, Konto oder anonym |
| Recherchemodus | Mit Webzugriff antwortet ein System aus aktuellen Quellen, ohne aus dem Modellwissen. Das sind zwei verschiedene Messungen. | Modus je Abfrage, bei Mischformen beide getrennt |
| Zeitpunkt | Antworten ändern sich von Tag zu Tag, Systeme werden laufend aktualisiert. | Datum und Uhrzeit jeder Abfrage, Abstand zwischen den Runden |
| Wiederholungen | Erst mehrere Durchläufe zeigen, ob eine Nennung stabil oder zufällig ist. | Anzahl der Durchläufe je Frage und System, jeweils in neuer Sitzung |
| Dokumentation der Antwort | Ohne Wortlaut lässt sich später nicht prüfen, ob eine Nennung positiv, neutral oder falsch war. | Vollständige Antwort, genannte Anbieter, angegebene Quellen, Auffälligkeiten |
Nennungsrate und Quellenanteil: nur mit Nenner
Was die Kennzahlen bedeuten
Die Nennungsrate ist der Anteil der Abfragen, in denen Ihr Unternehmen namentlich vorkommt. Der Quellenanteil ist der Anteil der Abfragen, in denen eine Ihrer Seiten als Quelle angegeben wird. Beide Zahlen sind nur dann sinnvoll, wenn der Nenner feststeht: so viele Fragen, so viele Systeme, so viele Durchläufe. „Wir werden in 40 Prozent der Fälle genannt“ ist ohne diese Angabe eine leere Aussage. „In 12 von 30 Abfragen über drei Systeme und zwei Durchläufe“ ist eine Messung.
Was man nicht tun sollte
Ergebnisse unterschiedlicher Systeme in einen Topf werfen. Eine Nennungsrate über ChatGPT und Perplexity hinweg verdeckt, dass das eine System Sie vielleicht nie und das andere immer nennt. Genauso wenig lassen sich Antworten mit und ohne Webrecherche addieren. Wir werten jedes System und jeden Modus getrennt aus und zeigen erst danach, ob ein Gesamtbild überhaupt sinnvoll ist. Vergleiche über Zeit funktionieren nur innerhalb derselben Festlegungen.
Dazu kommt eine dritte größe, die oft übersehen wird: die Qualität der Nennung. Ein Unternehmen, das genannt, aber mit falschem Leistungsgebiet oder veralteten Angaben beschrieben wird, hat ein anderes Problem als eines, das gar nicht vorkommt. Deshalb halten wir je Nennung fest ob die Beschreibung stimmt. Was die Stufen Nennung, Zitat und Empfehlung unterscheidet, erklärt die Seite KI-Sichtbarkeit für Unternehmen.
So kann ein Monitoring-Report aussehen
Das folgende Beispiel ist eine Demonstration des Formats mit frei erfundenen Zahlen. Es zeigt keine Ergebnisse eines Kunden und keine Erfolge von VQO. Ein echter Report enthält zusätzlich die vollständigen Antworten und die Liste der genannten Quellen.
| Fragegruppe (Beispiel) | System / Modus | Runde 1 | Runde 2 | Beobachtung |
|---|---|---|---|---|
| Anbieterfragen, 10 Fragen × 2 Durchläufe | System A, mit Webrecherche | Nennung 3/20, Quelle 1/20 | Nennung 7/20, Quelle 4/20 | Neue Leistungsseiten werden als Quelle verwendet |
| Anbieterfragen, 10 Fragen × 2 Durchläufe | System A, ohne Webrecherche | Nennung 0/20 | Nennung 0/20 | Erwartbar, Modellwissen unverändert |
| Anbieterfragen, 10 Fragen × 2 Durchläufe | System B, quellengestützt | Nennung 5/20, Quelle 5/20 | Nennung 6/20, Quelle 6/20 | Stabil, Quellen sind die eigenen Seiten |
| Erklärfragen, 8 Fragen × 2 Durchläufe | System B, quellengestützt | Quelle 2/16 | Quelle 2/16 | Glossar noch ohne Beispiele, keine Veränderung |
| Erklärfragen, 8 Fragen × 2 Durchläufe | System C, KI-Übersicht | Quelle 1/16 | Quelle 3/16 | Zwei neue Seiten indexiert und zitiert |
| Fehlerhafte Nennungen gesamt | alle Systeme | 4 (altes Leistungsgebiet) | 1 | Verzeichniskorrektur hat gewirkt, ein Eintrag offen |
Die lesart eines solchen Reports ist immer dieselbe: Wo hat sich etwas bewegt, wo nicht, und was war dazwischen passiert? Die Zeilen ohne Veränderung sind dabei genauso wichtig wie die mit Bewegung, weil sie zeigen, welche Maßnahmen noch ausstehen oder nicht gewirkt haben.
Warum eine Einzelabfrage keine Position beweist
Bei klassischen Suchmaschinen gibt es für eine Suchanfrage eine Rangliste, die sich über Tage kaum ändert. Bei generierten Antworten gibt es keine Rangliste, sondern jedes Mal einen neuen Text. Das System wählt Quellen aus, fasst zusammen und formuliert. Dieselbe Frage kann in zwei Sitzungen hintereinander verschiedene Anbieter nennen, weil die Auswahl der Quellen, die Reihenfolge der Verarbeitung und die Formulierung nicht deterministisch sind.
Dazu kommen Einflüsse, die nichts mit Ihrer Website zu tun haben: der Verlauf der Sitzung, in der die Frage gestellt wurde, das verwendete Konto und seine Historie, eine Modellaktualisierung über Nacht, eine Änderung an der Recherchefunktion. Wer aus einer Abfrage eine Aussage ableitet misst zur Hälfte diese Einflüsse mit.
Belastbar wird eine Aussage, wenn sie über mehrere Durchläufe, mehrere Tage und mehrere Systeme hinweg in dieselbe Richtung zeigt. Das ist aufwendiger als ein Screenshot, aber es ist der einzige Weg, Entscheidungen über Inhalte und Budget auf etwas anderes als Zufall zu stützen.
Qualifizierte Anfragen als ergänzendes Signal
Neben den Abfragen gibt es eine zweite Datenquelle, die Sie selbst haben: die Anfragen, die bei Ihnen ankommen. Wenn im Kontaktformular oder im Erstgespräch gefragt wird, wie jemand auf Sie gestoßen ist, tauchen KI-Systeme inzwischen regelmäßig als Antwort auf. Diese Angaben sind unvollständig und nicht repräsentativ, aber sie zeigen, ob aus Sichtbarkeit tatsächlich Nachfrage wird. Wir empfehlen, diese Frage dauerhaft zu stellen und die Antworten neben dem Monitoring zu führen. Zusammen mit Verweisquellen in der Webanalyse und Markensuchen in der Search Console ergibt sich daraus ein Bild, das die Abfragen allein nicht liefern können.
Wie das Monitoring in der laufenden Begleitung funktioniert
Das Monitoring ist der Taktgeber der GEO-Begleitung. Vier Schritte, die sich in jedem Zyklus wiederholen.
Abfragerunde
Alle Fragen des Katalogs werden in den festgelegten Systemen und Modi gestellt, mit der vereinbarten Zahl an Durchläufen. Antworten werden vollständig gespeichert.
Auswertung
Nennung, Zitat, Empfehlung und Richtigkeit je Frage und System. Vergleich mit der vorherigen Runde innerhalb derselben Festlegungen. Auffälligkeiten werden markiert.
Einordnung
Ein kurzer Termin: Was hat sich bewegt, was nicht, welche Maßnahmen lagen dazwischen? Daraus entstehen die nächsten Prioritäten für Inhalte, Daten oder Technik.
Anpassung
Neue Fragen kommen in den Katalog wenn sich das Geschäft ändert. Alte bleiben, damit der Vergleich über Zeit möglich bleibt. Änderungen am Katalog werden protokolliert.
Was das Monitoring nicht kann
- Es kann nicht erklären, warum ein System eine bestimmte Quelle gewählt hat. Es kann nur zeigen, welche Quellen genannt wurden und wie sich das verändert.
- Es kann keine Gewichtung einzelner Faktoren messen. Aussagen wie „strukturierte Daten bringen 20 Prozent mehr Nennungen“ lassen sich mit Abfragen nicht belegen.
- Es bildet nicht ab, was Millionen Nutzer mit ihren eigenen Formulierungen und Verläufen sehen. Es bildet ab, was ein definierter Fragenkatalog unter definierten Bedingungen liefert.
- Es ersetzt keine Webanalyse. Ob aus einer Nennung ein Besuch oder eine Anfrage wird, zeigt sich nur in Ihren eigenen Daten.
Wer diese Grenzen kennt kann mit dem Monitoring gut arbeiten. Wer sie ignoriert, liest in die Zahlen hinein, was er sehen möchte. Die technischen Voraussetzungen dafür, dass Ihre Seiten überhaupt als Quelle in Frage kommen, beschreibt die Seite SEO für KI-Suche. Welche Fragen in den Katalog gehören, ergibt sich aus dem GEO-Audit.
Häufige Fragen zum KI-Monitoring
Wie oft sollten Abfragerunden laufen?
Das hängt davon ab, wie viel sich bei Ihnen zwischen den Runden ändert. In Phasen mit vielen neuen Inhalten sind kürzere Abstände sinnvoll, in ruhigen Phasen längere. Den Rhythmus legen wir in der Begleitung fest und passen ihn an, wenn er nicht mehr passt.
Gibt es Werkzeuge, die das automatisch machen?
Es gibt Anbieter, die Abfragen automatisieren. Sie nehmen die Routinearbeit ab, lösen aber nicht die eigentliche aufgabe: den richtigen Fragenkatalog bauen, Systeme und Modi sauber trennen, fehlerhafte Nennungen erkennen und die Ergebnisse in Maßnahmen übersetzen. Wir setzen Werkzeuge ein, wo sie helfen, und beurteilen die Ergebnisse selbst.
Können wir das Monitoring intern übernehmen?
Ja, mit dem Fragenkatalog und der Dokumentationsvorlage aus dem Audit. Wichtig ist Disziplin bei den Festlegungen und das Speichern der vollständigen Antworten. Viele Unternehmen lassen die ersten Runden von uns machen und übernehmen später selbst.
Was ist, wenn die Zahlen über Monate nicht steigen?
Dann steht das im Report, und wir suchen gemeinsam nach dem Grund: fehlende Inhalte, technische Hürden, zu wenig externe Belege oder ein Thema, bei dem die Konkurrenz schlicht stärker ist. Manchmal ist auch der fragenkatalog falsch gewählt. Ein Monitoring, das nur gute Nachrichten liefert, wäre keins.
Wissen, ob sich etwas bewegt.
Die GEO-Begleitung verbindet wiederholte Abfragen mit der Weiterentwicklung Ihrer Inhalte. Beschreiben Sie uns Ihre Situation, wir schlagen Fragenkatalog, Systeme und Rhythmus vor und erstellen ein individuelles Angebot.
Angebot für die Begleitung anfordern