Die wichtigste Regel zuerst: Jede Kennung einzeln behandeln. OpenAI und Perplexity dokumentieren getrennte User-Agents für Suche, nutzerinitiierte Abrufe und Training, und jede Einstellung ist unabhängig von den anderen. Eine Sperre für den Trainingscrawler nimmt Sie nicht aus Suchantworten, eine Sperre für den Suchcrawler schon.
Die Kennungen und was sie tun
| Kennung | Anbieter | Zweck laut Dokumentation | robots.txt |
|---|---|---|---|
| OAI-SearchBot | OpenAI | Erschließt Websites für die Suchfunktionen in ChatGPT | wird beachtet; Sperre = nicht in ChatGPT-Suchantworten |
| GPTBot | OpenAI | Sammelt Inhalte für das Training der Modelle | wird beachtet; Sperre = kein Training, Suche unberührt |
| ChatGPT-User | OpenAI | Ruft Seiten auf, wenn ein Nutzer eine Frage stellt | gilt nicht unbedingt, da nutzerinitiiert |
| PerplexityBot | Perplexity | Erschließt Websites für Perplexity-Suchergebnisse, kein Training | wird beachtet; Perplexity empfiehlt Freigabe |
| Perplexity-User | Perplexity | Ruft Seiten bei Nutzerfragen auf, kann sie verlinken; kein Training | wird in der Regel ignoriert |
| Googlebot | Suchindex, aus dem auch AI Overviews und AI Mode gespeist werden | wird beachtet; Sperre = raus aus Suche und Übersichten | |
| Google-Extended | Steuert Nutzung für Training und Grounding in anderen Google-Systemen, nicht die Suche | wird beachtet; wirkt nicht auf AI Overviews |
Quellen: OpenAI „Overview of OpenAI Crawlers“, Perplexity „Perplexity Crawlers“, Google „KI-Funktionen und deine Website“ sowie Google-Extended-Dokumentation, abgerufen am 1. Oktober 2026. Anbieter ändern Kennungen; vor Änderungen an der robots.txt die aktuelle Dokumentation prüfen.
Beispiel: in Antworten sichtbar bleiben, Training nicht erlauben
So sieht eine robots.txt aus, die Suche und nutzerinitiierte Abrufe zulässt, aber Trainingszwecke ablehnt. Die Reihenfolge spielt keine Rolle, jede Gruppe gilt für ihren User-Agent:
User-agent: *
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
Sitemap: https://www.beispiel.de/sitemap.xmlOAI-SearchBot, PerplexityBot und Googlebot fallen hier unter die allgemeine Freigabe. Wer auch das Training erlauben möchte, lässt die beiden Disallow-Gruppen weg. Wer umgekehrt gar nicht in KI-Antworten vorkommen will, muss OAI-SearchBot und PerplexityBot zusätzlich sperren, und sollte wissen, dass nutzerinitiierte Abrufe davon nicht erfasst werden.
Drei Fehler, die wir ständig sehen
- Eine pauschale Sperre „für alle KI-Bots“, die auch OAI-SearchBot trifft. Folge: Das Unternehmen fehlt in ChatGPT-Suchantworten und wundert sich.
- Eine Firewall oder ein Bot-Schutz, der unbekannte User-Agents blockt, obwohl die robots.txt sie erlaubt. Die robots.txt ist dann nur Dekoration.
- Die Annahme, Google-Extended entscheide über AI Overviews. Dafür sind Indexierung und Snippet-Freigabe zuständig, nicht Google-Extended.
Prüfen, ob die Einstellung wirkt
Rufen Sie Ihre Seite mit dem jeweiligen User-Agent ab, etwa mit einem Kommandozeilenwerkzeug, und prüfen Sie den Statuscode. Danach schauen Sie in die Serverlogs, ob die Kennungen tatsächlich zugreifen. Beide Anbieter veröffentlichen IP-Bereiche, mit denen sich echte Zugriffe von Nachahmern unterscheiden lassen; wie das geht, steht unter Perplexity-User und ChatGPT-User in Serverlogs erkennen. Die technischen Grundlagen rund um Crawling und Indexierung erklärt die Seite SEO für KI-Suche.
Was robots.txt nicht leistet
Die Datei ist eine Bitte, keine Sperre. Seriöse Anbieter halten sich daran, und für nutzerinitiierte Abrufe erklären OpenAI und Perplexity ausdrücklich, dass die Regeln nicht gelten. Wer Inhalte wirklich vor Abruf schützen will, braucht eine Zugangsbeschränkung auf dem Server, und verliert damit auch jede Sichtbarkeit. Für die meisten Unternehmen ist die sinnvolle Einstellung deshalb: Suche und Nutzerabrufe erlauben, Training nach eigener Entscheidung sperren oder freigeben, und die Entscheidung alle paar Monate gegen die aktuelle Dokumentation prüfen, weil neue Kennungen hinzukommen können.
Kurz gesagt
GPTBot, OAI-SearchBot und PerplexityBot richtig einstellen heißt: jede Kennung einzeln, Suche offen, Training nach Wunsch, nichts pauschal. Prüfen Sie nach der Änderung die Serverantwort und die Logs, denn eine robots.txt, die ein Bot-Schutz überstimmt, nützt nichts.