KI-Crawler sperren oder zulassen? Was in die robots.txt gehört

Fast jede Website hat diese Entscheidung schon getroffen, ohne es zu merken. Wer nichts einstellt, erlaubt alles: Dann dürfen ChatGPT, Claude, Perplexity und ein gutes Dutzend weiterer Dienste deine Texte lesen und daraus lernen. Für viele Betriebe ist das genau richtig. Der Fehler liegt selten in der Entscheidung — er liegt darin, sie nie bewusst getroffen zu haben.

Die Unterscheidung, die fast alle verwechseln

Es gibt nicht „die KI-Crawler". Es gibt zwei Gruppen, die völlig Verschiedenes tun — und die sich getrennt steuern lassen:

Trainings-Crawler sammeln Texte auf Vorrat. Aus dem Gesammelten lernt später ein Sprachmodell. Deine Seite taucht dabei nicht auf, sie fließt ein. Dazu gehören GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Gemini), CCBot (Common Crawl), Bytespider (TikTok) und Applebot-Extended.

KI-Suchdienste holen deine Seite erst in dem Moment, in dem jemand eine Frage stellt — und nennen dich in der Antwort, meist mit Link. Das ist Sichtbarkeit, nicht Training. Dazu gehören OAI-SearchBot und ChatGPT-User, PerplexityBot sowie Claude-SearchBot.

Was deutsche Betriebe tatsächlich tun

Zu dieser Frage gibt es viele internationale Schätzungen und kaum deutsche Zahlen. Deshalb haben wir selbst gemessen: Am 18. August 2026 haben wir aus unserem Bestand von rund 282.000 deutschen Betriebswebsites eine Zufallsstichprobe von 1.500 gezogen und von jeder eine einzige Datei abgerufen — die robots.txt. 1.327 Websites waren erreichbar; das ist die Bezugsgröße für alle folgenden Prozentangaben.

Zwei Dinge stechen heraus. Erstens: 98 von 100 deutschen Betriebswebsites lassen KI-Crawler uneingeschränkt lesen. Das Thema ist in der Fläche noch nicht angekommen.

Zweitens, und das ist der eigentliche Befund: Es sperren mehr Betriebe versehentlich Google aus, als gezielt KI-Crawler sperren. 39 Websites tragen ein pauschales Disallow: / für alle Crawler — meist ein Rest aus der Bauphase, den niemand entfernt hat. Diese Seiten stehen in keiner Suchmaschine. Die vier Fälle, die zusätzlich eine ausdrückliche Ausnahme für Googlebot enthielten, haben wir dabei nicht mitgezählt.

Methode: eine HTTP-Anfrage je Domain auf /robots.txt, Gegenprobe auf die www-Schreibweise, Auswertung mit derselben Logik wie in unserer Prüfung. Fester Zufalls-Startwert, damit die Stichprobe nachvollziehbar bleibt.

Die Rechtslage: Warum die robots.txt mehr ist als eine Bitte

In Deutschland erlaubt § 44b UrhG das Text und Data Mining — also das automatisierte Auswerten von Inhalten — grundsätzlich auch zu kommerziellen Zwecken. Aber mit einer Bedingung: Der Rechteinhaber darf sich das ausdrücklich vorbehalten. Bei online zugänglichen Werken muss dieser Vorbehalt maschinenlesbar sein (§ 44b Abs. 3 UrhG).

Genau daran hängt alles. Ein Satz in den AGB ist für einen Menschen lesbar, für einen Crawler nicht unbedingt. Die robots.txt ist der seit Jahrzehnten etablierte maschinenlesbare Weg — und derzeit der einzige, den alle großen Anbieter ausdrücklich auswerten.

Kurz zuvor hatte das Landgericht München I am 11. November 2025 im Verfahren GEMA gegen OpenAI (Az. 42 O 14139/24) entschieden, dass die Schrankenregelung des § 44b UrhG das Training eines Sprachmodells nicht deckt, wenn geschützte Werke im Modell memoriert werden. Die Rechtslage ist also in Bewegung — was für dich praktisch bedeutet: Wenn du einen Vorbehalt willst, dokumentiere ihn jetzt maschinenlesbar, statt auf ein Urteil zu warten.

Selbst nachsehen — dauert eine Minute

Ruf im Browser deine-domain.de/robots.txt auf. Drei mögliche Ergebnisse:

• Fehlerseite oder nichts: Du hast keine robots.txt. Alle Crawler dürfen alles. Das ist der häufigste Zustand.
• Ein paar Zeilen mit User-agent: *: Es gibt Regeln, aber keine für KI-Dienste. Praktisch dasselbe Ergebnis.
• Namen wie GPTBot oder ClaudeBot tauchen auf: Jemand hat sich damit befasst. Prüf nach, ob auch die Suchdienste betroffen sind — das ist die Stelle, an der es meist unbeabsichtigt zu weit geht.

Ein Stolperstein, der uns in der Praxis begegnet ist: Die Datei muss unter genau der Adresse liegen, unter der deine Seite läuft. Bei einer großen deutschen Website antwortete die Variante ohne www mit einem Fehler, während die www-Variante die Datei sauber auslieferte. Wer nur eine der beiden prüft, zieht den falschen Schluss.

So stellst du es ein

Die robots.txt ist eine schlichte Textdatei im Hauptverzeichnis deiner Website. In WordPress legen viele SEO-Plugins sie an; ansonsten reicht ein Texteditor und ein Upload per FTP. Drei Vorlagen, je nach Absicht:

Training verhindern, in KI-Antworten sichtbar bleiben

Der Regelfall für die meisten Betriebe, die eigene Texte und Bilder haben, aber gefunden werden wollen:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: anthropic-ai
User-agent: Google-Extended
User-agent: CCBot
User-agent: Bytespider
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
User-agent: Amazonbot
Disallow: /

Die Suchdienste bleiben unerwähnt und dürfen damit weiterhin lesen. Deine Seite kann in ChatGPT- und Perplexity-Antworten zitiert und verlinkt werden.

Alles KI aussperren

Für Redaktionen, Fotografinnen, Agenturen — alle, deren Inhalt das Produkt ist. Ergänze zum Block oben:

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: PerplexityBot
User-agent: Claude-SearchBot
Disallow: /

Dir muss klar sein, was du dafür aufgibst: In KI-Antworten kommst du dann nicht mehr vor. Für manche ist das der Preis wert, für andere nicht.

Alles zulassen

Keine Regel nötig — das ist der Zustand ohne Zutun. Für einen Handwerksbetrieb, eine Praxis oder ein Restaurant ist das meist die richtige Wahl: Der Text auf der Seite ist nicht das Produkt, die Auffindbarkeit ist es.

Was die robots.txt nicht kann

Sie ist eine Bitte, kein Schloss. Ein Crawler, der sich nicht daran hält, wird nicht aufgehalten. Die großen Anbieter erklären, dass sie sich daran halten, und veröffentlichen die Namen ihrer Crawler — überprüfen kann man das von außen nicht.

Ihr eigentlicher Wert liegt woanders: Sie dokumentiert deinen Vorbehalt nach § 44b Abs. 3 UrhG maschinenlesbar, mit Datum und nachweisbar. Wer technisch sperren will, braucht eine Regel auf Server-Ebene oder bei einem vorgeschalteten Dienst — das ist eine andere Baustelle und für die meisten Betriebe übertrieben.

Und noch etwas gehört zur Ehrlichkeit: Die llms.txt, die gelegentlich empfohlen wird, ist ein Vorschlag aus dem Jahr 2024 und kein Standard. Sie bietet KI-Systemen eine aufgeräumte Inhaltsübersicht an — sie sperrt nichts, und kein großer Anbieter wertet sie verbindlich aus. Wer steuern will, wer lesen darf, braucht die robots.txt.

Häufige Fragen

Wie sperre ich ChatGPT von meiner Website aus?

Über die Datei robots.txt im Hauptverzeichnis. Ein Block aus User-agent: GPTBot und Disallow: / sperrt den Crawler, mit dem OpenAI Trainingsdaten sammelt. Wichtig: Das ist nicht dasselbe wie die ChatGPT-Suche. Wer auch dort verschwinden will, muss zusätzlich OAI-SearchBot sperren — wer in ChatGPT-Antworten auftauchen möchte, lässt ihn ausdrücklich zu.

Was ist der Unterschied zwischen Trainings-Crawlern und KI-Suchdiensten?

Trainings-Crawler sammeln Texte, aus denen später ein Modell lernt. KI-Suchdienste holen deine Seite erst dann, wenn jemand gerade eine Frage stellt — und verlinken dich in der Antwort. Wer beide sperrt, schützt seine Texte und verschwindet gleichzeitig aus KI-Antworten. Das ist eine geschäftliche Entscheidung, keine technische.

Darf KI meine Texte einfach zum Training verwenden?

Nach § 44b UrhG ist Text und Data Mining grundsätzlich erlaubt — aber nur, solange der Rechteinhaber keinen Vorbehalt erklärt hat. Bei online zugänglichen Werken muss dieser Vorbehalt maschinenlesbar sein (§ 44b Abs. 3 UrhG). Eine robots.txt ist der etablierte maschinenlesbare Weg. Ein Satz in den AGB ist es möglicherweise nicht — genau diese Frage verhandelt der Bundesgerichtshof am 3. September 2026 (Az. I ZR 281/25).

Hält sich KI überhaupt an die robots.txt?

Die großen Anbieter erklären, dass sie es tun. Erzwingen kann die Datei es nicht — sie ist eine Bitte, kein Schloss. Ihr rechtlicher Wert liegt darin, dass sie deinen Vorbehalt maschinenlesbar und nachweisbar dokumentiert.

Schadet es meinem Google-Ranking, wenn ich KI-Crawler sperre?

Nein, solange du die richtigen sperrst. Google-Extended steuert nur, ob deine Inhalte in Gemini und den KI-Übersichten verwendet werden — die normale Google-Suche und dein Ranking bleiben davon unberührt. Gefährlich wird es erst bei einem pauschalen Disallow: / für alle.

Wie viele Websites sperren KI-Crawler wirklich?

Wir haben am 18. August 2026 eine Zufallsstichprobe von 1.500 deutschen Betriebswebsites gezogen; 1.327 waren erreichbar. Davon sperren 1,96 % mindestens einen KI-Crawler, während 2,94 % mit einem pauschalen Disallow: / versehentlich auch Google aussperren.

Wo muss die robots.txt liegen?

Direkt im Hauptverzeichnis, erreichbar unter deine-domain.de/robots.txt. In einem Unterordner wirkt sie nicht. Achte auch auf die www-Schreibweise: Wenn deine Seite unter www erreichbar ist, muss die Datei auch dort ausgeliefert werden.

Brauche ich eine llms.txt?

Nein. llms.txt ist ein Vorschlag aus dem Jahr 2024, den kein großer Anbieter verbindlich auswertet, und sie sperrt nichts. Wer steuern will, wer seine Inhalte lesen darf, braucht die robots.txt.

Muss ich mich überhaupt entscheiden?

Nicht entscheiden ist auch eine Entscheidung — nämlich für Zulassen. Für einen Handwerksbetrieb, der gefunden werden will, ist das oft genau richtig. Für ein Fotostudio oder eine Redaktion, die von eigenen Inhalten lebt, sieht die Rechnung anders aus. Falsch ist nur, es nie bemerkt zu haben.

Stand: 18. August 2026. Dieser Text erklärt technische und rechtliche Zusammenhänge und ist keine Rechtsberatung.