Crawler-Berechtigung pro URL

Robots.txt-URL-Tester

Zeigt, ob ein Crawler einen Pfad abrufen darf und welche Regel entscheidet.

Beispiel testen

Prüft eine öffentliche Live-Antwort; Konfigurationsänderungen können das Ergebnis ändern.
Kostenlos Keine Anmeldung

Prüfen: robots.txt-Zugriff für eine URL

Die spezifischste User-Agent-Gruppe und längste passende Regel werden ausgewertet; Allow gewinnt bei Gleichstand.

Ergebnis verstehen

Prüfen Sie Gruppe und Regel, bevor Sie eine versehentliche Sperre ändern oder einen Ausschluss dokumentieren.

Korrekturen priorisieren

Nur robots.txt wird bewertet; Firewall, Anmeldung und Crawler-Verhalten können weiterhin blockieren.

Auswertung: robots.txt-Zugriff für eine URL

Die spezifischste User-Agent-Gruppe und längste passende Regel werden ausgewertet; Allow gewinnt bei Gleichstand.

Grenzen dieser Prüfung

Nur robots.txt wird bewertet; Firewall, Anmeldung und Crawler-Verhalten können weiterhin blockieren.

Häufig gestellte Fragen

Was wird geprüft?

Die spezifischste User-Agent-Gruppe und längste passende Regel werden ausgewertet; Allow gewinnt bei Gleichstand.

Wie nutze ich das Ergebnis?

Prüfen Sie Gruppe und Regel, bevor Sie eine versehentliche Sperre ändern oder einen Ausschluss dokumentieren.

Welche Grenzen gibt es?

Nur robots.txt wird bewertet; Firewall, Anmeldung und Crawler-Verhalten können weiterhin blockieren.

Verwandte URL-Werkzeuge und Anleitungen

Robots.txt-Generator

Erstellt eine gültige robots.txt mit gesperrten Pfaden, Sitemap-Links und Opt-out für KI-Crawler wie GPTBot.

Mehr erfahren

Robots.txt-Prüfer

Fasst User-Agent-Gruppen, Regeln und Sitemaps zusammen.

Mehr erfahren

Googlebot-URL-Prüfer

Prüft die Antwort für einen Googlebot User-Agent.

Mehr erfahren
urlscheck