KI-Crawler in der robots.txt erlauben: GPTBot, ClaudeBot und Co.

Die wichtigsten KI-Crawler im Überblick

In der robots.txt sprichst du jeden Crawler über seinen Namen im Feld User-agent an. Diese Namen solltest du kennen:

• ·GPTBot (OpenAI): sammelt Trainingsdaten für die Modelle hinter ChatGPT.
• ·OAI-SearchBot (OpenAI): baut den Index für die Suche in ChatGPT auf.
• ·ChatGPT-User (OpenAI): ruft Seiten ab, wenn ein Nutzer in ChatGPT konkret danach fragt.
• ·ClaudeBot (Anthropic): sammelt Trainingsdaten für Claude.
• ·Claude-SearchBot und Claude-User (Anthropic): Suche und Abrufe auf Nutzerwunsch.
• ·PerplexityBot und Perplexity-User: Suchindex von Perplexity und Abrufe auf Nutzerwunsch.
• ·Google-Extended: kein eigener Crawler. Ein Steuer-Token in der robots.txt, das regelt, ob Google die vom normalen Googlebot geholten Inhalte für Gemini nutzen darf.
• ·Applebot-Extended: dasselbe Prinzip bei Apple, für Apples KI-Modelle.
• ·CCBot (Common Crawl): baut ein freies Webarchiv auf, das viele KI-Firmen zum Training nutzen.

Warum das wichtig ist

Der entscheidende Unterschied liegt zwischen Training und Suche. Trainings-Crawler wie GPTBot, ClaudeBot und CCBot sammeln Text, aus dem künftige Modelle lernen, ohne Quellenangabe. Such- und Nutzer-Crawler arbeiten live: Fragt jemand ChatGPT nach einer Schreinerei in Traunstein, holen sie passende Seiten und verlinken sie in der Antwort. Wer in KI-Antworten genannt werden will, sollte mindestens die Such- und Nutzer-Crawler erlauben.

Meine Empfehlung für kleine Firmen: Lass alle rein, auch die Trainings-Crawler. Deine Leistungsseiten sind Werbung, die gelesen werden soll, und ein Modell, das dein Angebot kennt, nennt dich eher. Sind deine Texte selbst das Produkt, etwa Fachartikel oder Kurse, ist es legitim, das Training zu sperren und die Suche zu erlauben.

Zu Google: Wer Google-Extended sperrt, bleibt in der Google-Suche. Auch die KI-Übersichten dort hängen am normalen Googlebot.

So prüfst du es selbst

Zwei Regeln dazu: Ein Crawler, der nirgends erwähnt wird, darf alles lesen. Und ein Crawler mit eigenem Block liest nur diesen, die Regeln unter User-agent: * gelten für ihn dann nicht.

Im kostenlosen Check liest checkfrei deine robots.txt für GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended und CCBot und wertet nur echte Sperren. Ist die ganze Seite für alle gesperrt, ist es ein Fehler, sind einzelne KI-Crawler gesperrt, eine Warnung.

Was dabei nicht auffällt: Sperren in der Firewall. Dienste wie Cloudflare können KI-Bots auf Serverebene blockieren, obwohl die robots.txt alles erlaubt. Nutzt du Cloudflare, schau in die Einstellungen zu Bots.

1. 01Ruf https://deine-domain.de/robots.txt im Browser auf.
2. 02Such nach User-agent:-Zeilen mit den Namen von oben und nach dem Block User-agent: *, der für alle übrigen Crawler gilt.
3. 03Schau, was darunter steht. Disallow: / sperrt die ganze Seite, Allow: / oder ein leeres Disallow: erlaubt alles.

So behebst du es

Lösch die Blöcke, die KI-Crawler mit Disallow: / aussperren, oder ersetz die Zeile durch Allow: /. Mehrere User-agent-Zeilen direkt untereinander teilen sich einen Regelblock.

Das Beispiel erlaubt die Suche und sperrt das Training. Dafür zeigt checkfrei eine Warnung. Ist das deine bewusste Entscheidung, lass sie stehen. Wer alles erlauben will, lässt den zweiten Block weg.

# KI-Suche und Abrufe auf Nutzerwunsch erlauben
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /

# Training ausschließen (optional)
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

# Alle anderen
User-agent: *
Allow: /

Sitemap: https://www.example.com/sitemap.xml

Typische Fehler

• ·Eine Vorlage aus dem Netz kopiert, die "zum Schutz" alle KI-Bots aussperrt.
• ·Die Testversion mit Disallow: / live geschaltet, mehr dazu unter robots.txt.
• ·Erwartet, dass eine Sperre bereits trainierte Modelle vergessen lässt. Sie wirkt nur für künftige Abrufe.
• ·Darauf verlassen, dass jede Sperre greift. Einige Anbieter schreiben, dass Abrufe auf Nutzerwunsch die robots.txt nicht in jedem Fall beachten.