robots.txt erstellen: Aufbau, Beispiele und typische Fehler

Warum das wichtig ist

Bevor Google eine Seite abruft, schaut es in die robots.txt. Steht dort eine Sperre, bleibt der Crawler draußen. Für den Admin-Bereich oder die interne Suche ist das praktisch. Trifft die Sperre aus Versehen die ganze Website, ist es fatal.

Fehlt die Datei, ist das halb so wild. Google behandelt eine fehlende robots.txt so, als sei alles erlaubt. Wir geben trotzdem eine Warnung, weil die Datei der übliche Ort ist, an dem Suchmaschinen und KI-Crawler deine Sitemap finden.

Oft verwechselt: Die robots.txt steuert das Abrufen, die Aufnahme in den Index steuert sie nicht. Eine gesperrte Seite kann trotzdem bei Google auftauchen, dann ohne Beschreibung. Wer eine Seite aus den Ergebnissen haben will, braucht noindex.

Eine robots.txt, die für die meisten passt

User-agent: * gilt für alle Crawler. Allow: / erlaubt alles. Streng genommen ist das ohnehin der Normalzustand, die Zeile macht die Absicht aber eindeutig. Die Sitemap-Zeile braucht eine vollständige Adresse.

Bereiche sperrst du mit Disallow, etwa Disallow: /intern/. Jede Regel greift ab dem Anfang des Pfads: Disallow: /a würde also auch /angebote/ treffen.

Die Datei muss im Stammverzeichnis liegen und genau robots.txt heißen, klein geschrieben. In einem Unterordner wird sie ignoriert. Subdomains wie shop.example.de brauchen jeweils eine eigene.

User-agent: *
Allow: /

Sitemap: https://www.example.de/sitemap.xml

So prüfst du es selbst

Ruf deinedomain.de/robots.txt im Browser auf und lies die Datei Zeile für Zeile. Gefährlich ist Disallow: / unter User-agent: *, das sperrt alles. Ein leeres Disallow: ohne Pfad sieht ähnlich aus, erlaubt aber alles.

In der Google Search Console zeigt der robots.txt-Bericht in den Einstellungen, welche Version Google zuletzt abgerufen hat und ob es Probleme gab.

Im kostenlosen Check ruft checkfrei die Datei automatisch ab. Fehlt sie, gibt es eine Warnung. Sperrt sie mit Disallow: / alle Suchmaschinen aus, ist es ein Fehler.

So behebst du es

import type { MetadataRoute } from "next";

export default function robots(): MetadataRoute.Robots {
  return {
    rules: { userAgent: "*", allow: "/" },
    sitemap: "https://www.example.de/sitemap.xml",
  };
}

Typische Fehler

• ·Die robots.txt der Testumgebung mit Disallow: / ist beim Livegang mit umgezogen.
• ·Ordner mit CSS und JavaScript sind gesperrt, etwa /wp-content/ oder /assets/. Google kann die Seite dann nicht richtig darstellen und versteht Layout und Mobilansicht womöglich falsch.
• ·Die Sitemap-Zeile zeigt auf eine alte oder relative Adresse.
• ·KI-Crawler wie GPTBot sind pauschal ausgesperrt, ohne dass das jemand bewusst entschieden hat. Mehr dazu unter KI-Crawler-Zugang.