Robots.txt-URL-Tester
Zeigt, ob ein Crawler einen Pfad abrufen darf und welche Regel entscheidet.
Prüfen: robots.txt-Zugriff für eine URL
Die spezifischste User-Agent-Gruppe und längste passende Regel werden ausgewertet; Allow gewinnt bei Gleichstand.
Ergebnis verstehen
Prüfen Sie Gruppe und Regel, bevor Sie eine versehentliche Sperre ändern oder einen Ausschluss dokumentieren.
Korrekturen priorisieren
Nur robots.txt wird bewertet; Firewall, Anmeldung und Crawler-Verhalten können weiterhin blockieren.
Auswertung: robots.txt-Zugriff für eine URL
Die spezifischste User-Agent-Gruppe und längste passende Regel werden ausgewertet; Allow gewinnt bei Gleichstand. Nur robots.txt wird bewertet; Firewall, Anmeldung und Crawler-Verhalten können weiterhin blockieren.
Was geprüft wird
Die spezifischste User-Agent-Gruppe und längste passende Regel werden ausgewertet; Allow gewinnt bei Gleichstand.
- Die spezifischste User-Agent-Gruppe und längste passende Regel werden ausgewertet; Allow gewinnt bei Gleichstand.
- Prüfen Sie Gruppe und Regel, bevor Sie eine versehentliche Sperre ändern oder einen Ausschluss dokumentieren.
- Nur robots.txt wird bewertet; Firewall, Anmeldung und Crawler-Verhalten können weiterhin blockieren.
Probleme und nächste Schritte
Prüfen Sie Gruppe und Regel, bevor Sie eine versehentliche Sperre ändern oder einen Ausschluss dokumentieren.
Häufig gestellte Fragen
Was wird geprüft?
Die spezifischste User-Agent-Gruppe und längste passende Regel werden ausgewertet; Allow gewinnt bei Gleichstand.
Wie nutze ich das Ergebnis?
Prüfen Sie Gruppe und Regel, bevor Sie eine versehentliche Sperre ändern oder einen Ausschluss dokumentieren.
Welche Grenzen gibt es?
Nur robots.txt wird bewertet; Firewall, Anmeldung und Crawler-Verhalten können weiterhin blockieren.