Robots.txt-Prüfer
Prüft die aktive robots.txt-Datei einer Domain.
robots.txt-Crawling-Regeln prüfen
Die Prüfung zeigt Verfügbarkeit, HTTP-Status, User-Agent-Gruppen, Allow-/Disallow-Anzahl, Sitemap-URLs und den Rohtext.
Ergebnis verstehen
Damit erkennen Sie öffentlich bereitgestellte Crawling-Regeln und Sitemap-Adressen.
Häufige Probleme erkennen
Fehlende Dateien, Nicht-200-Status, breite Disallow-Regeln, falsche Gruppen oder veraltete Sitemaps können die Erkennung stören.
robots.txt-Crawling-Regeln richtig auswerten
robots.txt steuert Crawling, nicht die garantierte Entfernung aus dem Index; die Priorität jedes Crawlers wird nicht simuliert.
Häufige Probleme und nächste Schritte
Fehlende Dateien, Nicht-200-Status, breite Disallow-Regeln, falsche Gruppen oder veraltete Sitemaps können die Erkennung stören.
Häufig gestellte Fragen
Was umfasst die Prüfung von robots.txt-Crawling-Regeln?
Die Prüfung zeigt Verfügbarkeit, HTTP-Status, User-Agent-Gruppen, Allow-/Disallow-Anzahl, Sitemap-URLs und den Rohtext.
Wie sollte ich das Ergebnis verwenden?
Lesen Sie Regeln im User-Agent-Kontext, begrenzen Sie versehentliche Sperren, aktualisieren Sie Sitemaps und testen Sie erneut.
Welche Grenzen hat das Werkzeug?
robots.txt steuert Crawling, nicht die garantierte Entfernung aus dem Index; die Priorität jedes Crawlers wird nicht simuliert.