Robots.txt-Generator
Legen Sie fest, was Crawler abrufen dürfen, prüfen Sie Warnhinweise und laden Sie die fertige Datei herunter.
Eingabe
Ein Pfad pro Zeile, z. B. /admin/
Ergebnis
User-agent: *
Disallow:
Speichern Sie die Datei als robots.txt im Stammverzeichnis, z. B. https://example.com/robots.txt
Prüfhinweise
- Tipp: Ergänzen Sie Ihre Sitemap-URL, damit Crawler sie finden
Prüfen: robots.txt-Crawling-Regeln
Die Datei wird mit gültigen User-agent-Gruppen erstellt; Pfade ohne führenden Schrägstrich, gesperrtes CSS oder JavaScript, relative Sitemaps und riskante Komplettsperren werden markiert.
Ergebnis verstehen
Laden Sie die Datei ins Stammverzeichnis Ihrer Domain hoch und testen Sie wichtige URLs, bevor Sie sich auf die neuen Regeln verlassen.
Korrekturen priorisieren
robots.txt ist eine Bitte, keine Zugriffskontrolle: Regelkonforme Crawler halten sich daran, bereits indexierte Seiten werden dadurch aber nicht verborgen oder entfernt.
Auswertung: robots.txt-Crawling-Regeln
Die Datei wird mit gültigen User-agent-Gruppen erstellt; Pfade ohne führenden Schrägstrich, gesperrtes CSS oder JavaScript, relative Sitemaps und riskante Komplettsperren werden markiert.
Grenzen dieser Prüfung
robots.txt ist eine Bitte, keine Zugriffskontrolle: Regelkonforme Crawler halten sich daran, bereits indexierte Seiten werden dadurch aber nicht verborgen oder entfernt.
Häufig gestellte Fragen
Was wird geprüft?
Die Datei wird mit gültigen User-agent-Gruppen erstellt; Pfade ohne führenden Schrägstrich, gesperrtes CSS oder JavaScript, relative Sitemaps und riskante Komplettsperren werden markiert.
Wie nutze ich das Ergebnis?
Laden Sie die Datei ins Stammverzeichnis Ihrer Domain hoch und testen Sie wichtige URLs, bevor Sie sich auf die neuen Regeln verlassen.
Welche Grenzen gibt es?
robots.txt ist eine Bitte, keine Zugriffskontrolle: Regelkonforme Crawler halten sich daran, bereits indexierte Seiten werden dadurch aber nicht verborgen oder entfernt.