Die Robots.txt ist eine Datei im Root-Verzeichnis einer Website, mit der gesteuert wird, welche Bereiche von Suchmaschinen gecrawlt werden dürfen und welche nicht.

Funktionsweise

Suchmaschinen-Bots prüfen die Datei, bevor sie eine Website crawlen, und halten sich an die dort definierten Regeln.

Beispiele

bestimmte Seiten ausschließen
Verzeichnisse blockieren
Crawling einschränken

Ziel

unnötiges Crawling vermeiden
wichtige Inhalte priorisieren
technische Bereiche schützen

Zusammenhang mit anderen Themen

beeinflusst Crawling
indirekter Einfluss auf Indexierung
wichtig im Technical SEO

Wichtiger Hinweis

Robots.txt verhindert Crawling – nicht zwingend Indexierung. Dafür sind andere Methoden nötig (z. B. noindex Meta-Tags).

Typischer Fehler

Wichtige Seiten versehentlich blockieren → massive SEO-Probleme.

Strategischer Kontext

Die Robots.txt ist ein mächtiges Steuerungsinstrument, das mit Vorsicht eingesetzt werden sollte.

Robots.txt