Crawling
Darf ein Crawler die Seite abrufen? Robots-Anweisungen, Serverantworten und Sperren für bestimmte User-Agents entscheiden darüber. Eine versehentliche sperre aus der Entwicklungsphase ist ein Klassiker. Begriff im Glossar: Crawling.
Leistung
SEO für KI-Suche als technische Grundlage
Bevor ein KI-System Ihre Inhalte verwenden kann, muss es sie finden, abrufen und lesen können. Das klingt banal scheitert aber in der Praxis erstaunlich oft. Diese Seite erklärt, welche Grundlagen wir prüfen und warum sie für KI-Antworten genauso gelten wie für die klassische Suche.
Kein zweites
SEO-Projekt.
SEO ist bei VQO kein eigenständiges Agenturangebot, sondern das Fundament, auf dem KI-Sichtbarkeit steht. Wir bauen keine Websites, schalten keine Anzeigen und automatisieren keine IT. Wir sorgen dafür, dass die technische Basis Ihrer Website kein System ausbremst, und zwar genau so weit, wie es für GEO nötig ist. Für Googles KI-Übersichten gelten ohnehin die üblichen SEO-Grundlagen, andere Systeme bringen eigene Zugriffsregeln mit.
Die Grundlagen
Neun Dinge, die jede Seite erfüllen muss
Die Reihenfolge ist zugleich die Reihenfolge der Abhängigkeit: Ohne Crawling keine Indexierung, ohne Indexierung keine Verwendung als Quelle.
Indexierung
Abgerufen heißt nicht aufgenommen. Noindex-Anweisungen, doppelte Inhalte oder dünne Seiten halten Inhalte aus dem Index fern. Was nicht im Index ist, kann in suchgestützten Antworten nicht auftauchen. Glossar: Indexierung.
Statuscodes
Jede reale Seite liefert 200, jede verschobene 301, jede fehlende 404. Weiche Fehlerseiten mit Status 200, Weiterleitungsketten und zufällige 500er verwirren Crawler und verschwenden Abrufe.
Canonicals
Wenn ein Inhalt unter mehreren Adressen erreichbar ist, muss klar sein, welche die maßgebliche ist. Falsche oder fehlende Canonicals führen dazu, dass die falsche Version zitiert wird oder gar keine. Glossar: Canonical.
Interne Verlinkung
Seiten, auf die keine andere Seite verweist, werden selten gefunden und noch seltener als wichtig eingestuft. Erklärseite, Leistungsseite und Beispiel müssen aufeinander verweisen.
Lesbares HTML
Text, der erst per JavaScript nachgeladen wird, in Tabs versteckt ist oder als Bild vorliegt, wird von vielen Abrufsystemen nicht gesehen. Was zählen soll, steht im ausgelieferten HTML.
Bilder
Beschreibende Alt-Texte, sinnvolle Dateinamen, angemessene Größen. Bilder tragen selten direkt zur Nennung bei, aber fehlende Alt-Texte und riesige Dateien verschlechtern Zugänglichkeit und Ladezeit.
Geschwindigkeit
Langsame Seiten werden seltener und unvollständiger gecrawlt und von Menschen früher verlassen. Die Core Web Vitals sind ein guter Maßstab, aber kein Selbstzweck.
Strukturierte Daten
Schema.org-Markup beschreibt sichtbare Inhalte maschinenlesbar: Organisation, Leistungen, FAQs, Breadcrumbs. Es ist Ordnung, kein Vorteil an sich. Glossar: Strukturierte Daten.
Wichtige Unterscheidung
Drei Arten von Zugriff, drei verschiedene Regeln
Wer über KI-Sichtbarkeit spricht, wirft oft drei Dinge zusammen, die technisch getrennt sind. Die Anbieter unterscheiden sie in ihrer Dokumentation und in den Kennungen ihrer Crawler, und Sie können sie in der robots.txt getrennt steuern.
| Zugriffsart | Was passiert | Folge für Ihre Sichtbarkeit |
|---|---|---|
| Suchmaschinen-Crawler | Ruft Seiten regelmäßig ab und baut einen Index auf, aus dem Suchergebnisse und KI-Übersichten gespeist werden | Ohne Zugriff keine klassischen Rankings und keine Verwendung in suchgestützten Antworten |
| Recherchezugriff | Ruft Seiten im Moment einer Nutzeranfrage ab, um eine Antwort mit aktuellen Quellen zu erstellen | Ohne Zugriff kann die Seite nicht als Quelle für diese Antwort dienen, auch wenn sie im Suchindex steht |
| Trainingscrawler | Sammelt Inhalte für das Training künftiger Modellversionen | Beeinflusst, was ein Modell ohne Webzugriff „weiß“; wirkt erst mit neuen Versionen und ist nicht steuerbar in der Wirkung |
Ein häufiges Missverständnis: Wer den Trainingscrawler eines Anbieters sperrt sperrt damit nicht automatisch den Recherchezugriff, und umgekehrt. Ebenso bedeutet eine Sperre für Trainingszwecke nicht, dass das Unternehmen in Antworten mit Webrecherche verschwindet. Welche Kennungen die einzelnen Anbieter aktuell verwenden und wie sie sich steuern lassen, steht mit Datum und Quelle auf den Plattformseiten zu ChatGPT, Perplexity und Google AI Overviews.
Für die Praxis heißt das: Entscheiden Sie bewusst, welchen Zugriff Sie erlauben. Viele Websites sperren aus sorge um ihre Inhalte pauschal alles und wundern sich dann, dass sie in keiner Antwort vorkommen. Andere erlauben alles, ohne es je geprüft zu haben. Beides ist keine Entscheidung, sondern Zufall.
Was wir in der Prüfung konkret tun
Wir rufen Ihre wichtigsten Seiten so ab, wie es ein Crawler ohne JavaScript tut, und vergleichen das Ergebnis mit dem, was ein Besucher im Browser sieht. Wir lesen robots.txt, Meta-Robots-Anweisungen und HTTP-Header, prüfen Statuscodes und Weiterleitungsketten für alle Adressen aus Sitemap und Navigation, und gleichen Canonicals mit den tatsächlich indexierten Versionen in der Search Console ab. Strukturierte Daten werden gegen den sichtbaren Inhalt geprüft, nicht nur auf Syntax. Das Ergebnis ist eine Liste mit URL, Befund, Ursache und Korrektur, die Ihre Agentur oder IT direkt abarbeiten kann. Für die meisten Websites mit bis zu einigen hundert Seiten ist diese Prüfung in wenigen Tagen erledigt.
Typische technische Befunde und was sie kosten
Häufige Fehler
- Noindex auf Leistungsseiten, übrig aus einem Relaunch
- robots.txt sperrt das Verzeichnis, in dem die Fachinhalte liegen
- Canonical zeigt auf die Startseite oder auf eine Version mit Parametern
- Inhalte in Akkordeons, die erst per Klick ins HTML geladen werden
- Mehrere Domains oder Subdomains mit demselben Inhalt ohne Festlegung
- Weiche 404-Seiten, die mit Status 200 antworten
- Strukturierte Daten, die etwas beschreiben, das auf der Seite nicht steht
Warum sie so teuer sind
Keiner dieser Punkte ist schwer zu beheben. Teuer werden sie weil sie alles andere entwerten. Ein hervorragender Fachtext hinter einem Noindex existiert für Systeme nicht. Eine perfekt beschriebene Leistung, die nur per JavaScript erscheint, wird nicht gelesen. Jedes budget für Inhalte oder externe Erwähnungen ist verschwendet, solange die Grundlage nicht steht. Deshalb steht die technische Prüfung im GEO-Audit immer am Anfang und ihre Befunde in der GEO-Strategie immer ganz oben.
Redaktionelle Grundlagen
Struktur, die Menschen und Systeme verstehen
Neben der Technik gibt es redaktionelle Grundlagen, die wir zur SEO-Basis zählen, weil sie ohne großen Aufwand umsetzbar sind und direkt beeinflussen, ob ein Inhalt als Quelle taugt.
- Eine Überschrift erster Ordnung je Seite, die sagt, worum es geht, und darunter eine Hierarchie ohne Sprünge
- Die Antwort auf die Kernfrage in den ersten Absätzen, nicht nach einer Einleitung über die eigene Geschichte
- Zwischenüberschriften, die Leserfragen formulieren, statt Abteilungsnamen zu wiederholen
- Seitentitel und Beschreibung, die den Inhalt treffen und nicht mit Keywords gestopft sind
- Eindeutige Unternehmensangaben an einer Stelle, auf die alle anderen Seiten verweisen
- Datum und Hinweis bei Aktualisierungen, damit erkennbar bleibt, was aktuell ist
Wie aus diesen Grundlagen Inhalte werden, die konkrete Fragen beantworten und Erfahrung belegen, beschreibt die Seite GEO-Content. Alle Fachbegriffe dieser Seite sind im SEO- und GEO-Glossar mit Beispielen erklärt. Wer die technischen und redaktionellen Grundlagen einmal sauber aufgesetzt hat muss sie danach nur noch pflegen: bei jedem Relaunch, bei jeder neuen Seite und bei jeder Änderung an Serverkonfiguration oder Content-System einmal gegenprüfen. Das kostet wenig und verhindert, dass monatelange inhaltsarbeit an einer vergessenen Robots-Anweisung scheitert.
Gut zu wissen
Häufige Fragen zu SEO für KI-Suche
Brauchen wir ein spezielles Markup für KI-Systeme?
Nein. Für Googles KI-Funktionen gelten laut Dokumentation die gleichen Grundlagen wie für die Suche, ein zusätzliches KI-Markup ist nicht erforderlich. Andere Anbieter dokumentieren ebenfalls keine Pflichtformate. Sauberes HTML, klare Struktur und passende strukturierte Daten reichen aus.
Hilft eine llms.txt?
Eine llms.txt ist ein freiwilliges Inhaltsverzeichnis für Sprachmodelle. Sie schadet nicht und kostet wenig. Eine Voraussetzung für die Aufnahme in Antworten ist sie nicht, und kein großer Anbieter hat sie bisher als Rankingsignal dokumentiert. Wir legen sie an, kennzeichnen sie aber als Experiment.
Sollten wir Trainingscrawler sperren?
Das ist eine unternehmerische Entscheidung, keine technische. Wer seine Inhalte nicht in Trainingsdaten sehen will kann die entsprechenden Kennungen sperren. Wichtig ist, dabei den Recherchezugriff und die Suchmaschinen-Crawler nicht mitzusperren. Wir zeigen Ihnen die optionen, die Entscheidung treffen Sie.
Übernimmt VQO auch die Umsetzung der technischen Korrekturen?
Kleinere Korrekturen wie Robots-Anweisungen, Canonicals, Weiterleitungen oder strukturierte Daten setzen wir um, wenn wir Zugang zum System haben. Größere Eingriffe in Technik oder Design koordinieren wir mit Ihrer Webagentur oder Ihrer IT. Wir bauen keine Websites neu.
Nächster Schritt
Steht Ihre Grundlage?
Die technische Prüfung ist Teil jedes GEO-Audits. Beschreiben Sie uns kurz Ihre Website und Ihr System, wir sagen Ihnen, welche Punkte wir prüfen, und erstellen ein individuelles Angebot.
Jetzt Angebot anfordern