robots.txt erstellen, prüfen & optimieren: Anleitung (2026)

Die robots.txt ist eine einfache Textdatei im Wurzelverzeichnis Ihrer Domain, die Suchmaschinen-Crawlern sagt, welche Bereiche Ihrer Website sie aufrufen dürfen. Sie erreichen sie immer unter ihre-domain.de/robots.txt. Seit 2022 ist das zugrunde liegende Robots Exclusion Protocol als offizieller Internetstandard RFC 9309 festgeschrieben.

Wofür ist die robots.txt gedacht? Laut Google Search Central dient sie in erster Linie dem Crawl-Management: Sie verhindert, dass unwichtige Bereiche (etwa interne Suchergebnisse oder Filter-URLs) das Crawl-Budget verschwenden und Ihren Server unnötig belasten. Sie ist damit ein Werkzeug der technischen SEO, kein Sicherheits- oder Datenschutzinstrument.

Auf einen Blick

• Die robots.txt liegt im Root und steuert, welche URLs Crawler aufrufen dürfen
• Sie regelt Crawling, nicht Indexierung (der häufigste Irrtum, siehe nächster Abschnitt)
• Unterstützte Felder bei Google: user-agent, disallow, allow, sitemap
• 2026 steuert die robots.txt auch KI-Crawler wie GPTBot und Google-Extended

Für deutsche KMU lohnt sich der genaue Blick: Eine einzige falsche Zeile kann die ganze Website aus dem Crawling nehmen, und eine fehlende Zeile lässt KI-Crawler ungefragt mitlesen. Beides lässt sich in wenigen Minuten prüfen und beheben.

Nein, und das ist der wichtigste Punkt überhaupt. Die robots.txt steuert das Crawling, nicht die Indexierung. Google formuliert es unmissverständlich: Die robots.txt "ist kein Mechanismus, um eine Webseite aus Google herauszuhalten" (Google Search Central).

Was heißt das konkret? Eine per Disallow gesperrte URL kann trotzdem im Index landen, wenn andere Seiten darauf verlinken. Google crawlt den Inhalt dann zwar nicht, kann die URL aber dennoch in den Suchergebnissen anzeigen, nur eben ohne Beschreibungstext. Wenn Sie eine Seite wirklich aus dem Index halten wollen, brauchen Sie laut Google "eine andere Methode wie Passwortschutz oder noindex".

Hier lauert die teuerste Falle, die wir in Audits immer wieder sehen: Eine Seite wird gleichzeitig in der robots.txt gesperrt und mit noindex versehen. Das funktioniert nicht. Google erklärt: Damit die noindex-Regel wirkt, darf die Seite nicht durch die robots.txt blockiert sein, denn "ist die Seite durch eine robots.txt-Datei blockiert, sieht der Crawler die noindex-Regel nie, und die Seite kann weiterhin in den Suchergebnissen erscheinen" (Google – Indexierung mit noindex blockieren).

Merksatz: robots.txt ist der Türsteher, der entscheidet, wer das Gebäude betreten darf. noindex ist das Hausverbot für den Katalog. Wer aus dem Katalog verschwinden will, muss den Türsteher passieren lassen, damit dieser das Hausverbot überhaupt lesen kann.

Eine robots.txt besteht aus wenigen, klaren Anweisungen. Google unterstützt laut der offiziellen Spezifikation genau vier Felder. Andere Felder wie crawl-delay ignoriert Google.

• User-agent: – für welchen Crawler die folgenden Regeln gelten (* steht für alle).
• Disallow: – welcher Pfad nicht gecrawlt werden soll.
• Allow: – eine Ausnahme innerhalb eines gesperrten Pfads.
• Sitemap: – Verweis auf Ihre XML-Sitemap (als vollständige URL).

Eine typische robots.txt sieht so aus:

• User-agent: * – gilt für alle Crawler
• Disallow: /intern/ – sperrt das interne Verzeichnis
• Allow: /intern/oeffentlich/ – erlaubt eine Ausnahme darin
• Sitemap: https://www.ihre-domain.de/sitemap.xml – nennt die Sitemap

Drei Regeln, die oft übersehen werden: Die Datei muss exakt robots.txt heißen, UTF-8-kodiert sein und im Root der Domain liegen. Sie gilt jeweils nur für ihr Protokoll, ihren Host und ihren Port, also braucht jede Subdomain ihre eigene robots.txt. Und bei sich widersprechenden Regeln gewinnt die spezifischste (längste) Pfadangabe, nicht die Reihenfolge. Die Pfadangaben sind dabei case-sensitiv, die Feldnamen nicht. Den Sitemap-Verweis sollten Sie immer setzen; wie Sie eine Sitemap erstellen und einreichen, zeigt unser Search-Console-Guide.

Eine robots.txt erstellen Sie in drei Schritten: Datei anlegen, ins Root-Verzeichnis hochladen, anschließend prüfen. Gerade der letzte Schritt entscheidet, ob Sie sich nicht versehentlich aus Google aussperren.

1. Datei anlegen

Erstellen Sie eine reine Textdatei namens robots.txt mit den Anweisungen aus dem vorigen Abschnitt. Viele CMS erleichtern das: WordPress-Plugins wie Yoast oder RankMath sowie die meisten Shop-Systeme bieten eine Oberfläche dafür, sodass Sie keine Datei manuell hochladen müssen.

2. Hochladen

Legen Sie die Datei ins Wurzelverzeichnis, sodass sie unter ihre-domain.de/robots.txt erreichbar ist. Ein Aufruf im Browser zeigt sofort, ob sie korrekt ausgeliefert wird.

3. Prüfen

Hier kommt der wichtigste Schritt. Prüfen Sie, ob Ihre Regeln wirklich das tun, was Sie beabsichtigen, und keine wichtigen Seiten blockieren. Google hat den früheren eigenständigen robots.txt-Tester abgeschaltet; den aktuellen robots.txt-Bericht finden Sie in der Google Search Console, zusammen mit der URL-Prüfung für einzelne Seiten. Schneller geht es mit einem Checker, der Ihre robots.txt sofort analysiert. Der kostenlose Robots.txt-Checker von Growbase prüft Crawling-Regeln, Sitemap-Verweise und ob Googlebot oder GPTBot blockiert werden. Prüfen Sie Ihre Datei direkt hier:

Die meisten robots.txt-Probleme gehen auf vier Fehler zurück. Alle sind leicht zu vermeiden, sobald man sie kennt.

Fehler 1: Versehentlich die ganze Website sperren

Die Zeile Disallow: / unter User-agent: * sperrt die komplette Website fürs Crawling. Das passiert erschreckend oft, wenn eine Staging-robots.txt versehentlich live geht. Prüfen Sie nach jedem Relaunch als Erstes, ob diese Zeile drinsteht.

Fehler 2: CSS und JavaScript blockieren

Google muss Ihre Seiten rendern, um sie korrekt zu bewerten. Sperren Sie deshalb keine CSS- oder JavaScript-Dateien. Google empfiehlt ausdrücklich, dem Googlebot Zugriff auf diese Ressourcen zu geben, damit er Ihre Seite wie ein normaler Nutzer sieht.

Fehler 3: robots.txt als Datenschutz missbrauchen

Die robots.txt ist öffentlich, jeder kann sie unter /robots.txt lesen. Wer dort sensible Pfade per Disallow einträgt, weist neugierige Besucher quasi den Weg dorthin. Und weil gesperrte URLs trotzdem indexiert werden können, schützt das auch vor Google nicht. Sensible Inhalte gehören hinter Passwortschutz oder Authentifizierung.

Fehler 4: Sperren und noindex kombinieren

Der bereits beschriebene Klassiker: eine Seite gleichzeitig in der robots.txt sperren und mit noindex versehen. Google sieht das noindex dann nie. Entscheiden Sie sich für eines, je nachdem, ob die Seite nicht gecrawlt (robots.txt) oder nicht indexiert (noindex, crawlbar lassen) werden soll. Mehr Kontext liefert unsere technische SEO-Checkliste.

2026 entscheidet Ihre robots.txt auch darüber, ob KI-Systeme Ihre Inhalte nutzen dürfen. Das ist eine echte Geschäftsentscheidung: Wer KI-Crawler blockiert, schützt seine Inhalte vor der Nutzung im KI-Training, riskiert aber, aus den KI-Suchergebnissen und damit aus wertvollen Zitationen zu verschwinden. Dieser Zusammenhang fehlt in fast allen klassischen robots.txt-Anleitungen.

Der Schlüssel ist, dass Sie beides entkoppeln können. Die wichtigsten Tokens:

• GPTBot (OpenAI) – sammelt Daten fürs Modell-Training. Blockieren hält Ihre Inhalte aus dem Training, beeinflusst die ChatGPT-Suche aber nicht (OpenAI).
• OAI-SearchBot (OpenAI) – sorgt dafür, dass Ihre Seite in der ChatGPT-Suche erscheint. Diesen sollten Sie in der Regel erlauben, wenn Sie in KI-Antworten zitiert werden wollen.
• Google-Extended – steuert ausschließlich, ob Inhalte für künftige Gemini-Modelle genutzt werden. Google stellt klar: Google-Extended "beeinflusst weder die Aufnahme einer Website in die Google Suche noch wird es als Ranking-Signal verwendet" (Google). Sie können es also blockieren, ohne Ihr Google-Ranking zu gefährden.
• ClaudeBot (Anthropic) – Trainings-Crawler, blockierbar wie GPTBot (Anthropic).
• PerplexityBot und CCBot (Common Crawl) – Indexierung für Perplexity bzw. ein weit verbreiteter Trainings-Datensatz.

Die praktische Empfehlung für KMU: Wer in der KI-Suche sichtbar bleiben will, erlaubt die Such-Crawler (OAI-SearchBot, PerplexityBot) und entscheidet bei den reinen Trainings-Crawlern (GPTBot, Google-Extended, ClaudeBot) nach eigener Inhalts-Strategie.

Eine ehrliche Einordnung gehört dazu: Die robots.txt ist eine Bitte, keine technische Sperre. Gut erzogene Bots halten sich daran, andere nicht immer. Cloudflare dokumentierte 2025, dass Perplexity über nicht deklarierte Crawler No-Crawl-Anweisungen umging (Cloudflare). Wer Inhalte zuverlässig schützen muss, braucht zusätzlich serverseitige Maßnahmen. Wie Sie KI-Crawler gezielt einladen statt aussperren, zeigt unser Leitfaden zur llms.txt; die Strategie dahinter erklärt Was ist GEO?.

Eine saubere robots.txt ist schnell erstellt und verhindert zwei teure Fehler: sich versehentlich aus Google auszusperren und KI-Crawler unkontrolliert mitlesen zu lassen. Prüfen Sie nach jedem Website-Umbau diese Punkte.

Ihre Checkliste

1. Datei liegt im Root und ist unter /robots.txt erreichbar
2. Kein versehentliches Disallow: / (sperrt die ganze Website)
3. CSS und JavaScript sind nicht blockiert (Google muss rendern)
4. Sitemap ist als vollständige URL referenziert
5. Keine Seite gleichzeitig per robots.txt sperren und auf noindex setzen
6. Keine sensiblen Pfade als Geheimnis behandeln (robots.txt ist öffentlich)
7. KI-Crawler bewusst entscheiden: Such-Bots erlauben, Trainings-Bots nach Strategie

Prüfen Sie Ihre robots.txt jetzt: Der kostenlose Robots.txt-Checker von Growbase zeigt Ihre Crawling-Regeln, Sitemap-Verweise und ob Googlebot oder GPTBot blockiert werden. Und für den vollständigen technischen Überblick über Ihre Website liefert die kostenlose Website-Analyse den Gesamtstatus in Google und in der KI-Suche.