Eine URL als Googlebot prüfen
URLs mit einem Googlebot User-Agent testen, Antworten mit Browsern vergleichen und Blocks, Redirects sowie Crawl-Abweichungen richtig einordnen.
Eine Prüfung „als Googlebot“ sendet üblicherweise eine Anfrage mit Googlebot-User-Agent und vergleicht sie mit einem Browser. So lassen sich bot-spezifische Sperren oder Redirects finden. Googles Infrastruktur, Rendering und Indexierung werden dabei nicht nachgebildet.
Prüfung durchführen
- Gib die URL im Googlebot URL Checker ein.
- Prüfe Startstatus, Redirects und Endziel.
- Vergleiche dieselbe Adresse im Multi-Identity-Checker.
- Bestätige Rendering und Indexierung in der Google Search Console.
Die sinnvolle Frage lautet nicht nur „Ist es 200?“, sondern ob der Crawler über eine stabile Route gleichwertigen Hauptinhalt erreicht.
Gründe für Unterschiede
WAF und Bot-Management
Eine Firewall kann alle botähnlichen User-Agents mit 403 oder einer Challenge beantworten. Gute Regeln unterscheiden verifizierte Crawler, ohne einer leicht fälschbaren Zeichenkette zu vertrauen.
Rate Limits
429 kann entstehen, wenn Crawling, Monitoring und API ein gemeinsames Limit nutzen. Prüfe Umfang, Kapazität und Retry-After.
CDN und Anwendung
Falsche Cache-Keys können Antworten zwischen Agenten, Ländern, Cookies oder Geräten vermischen. Alte Middleware leitet Bots manchmal noch zu mobilen Seiten oder Prerender-Diensten.
Ergebnisse einordnen
- 200: Inhalt, robots und canonical weiter prüfen.
- 301/308: direktes, konsistentes Ziel bestätigen.
- 302/307: temporäre Absicht verifizieren.
- 403: WAF und Berechtigungen untersuchen.
- 429: Crawl-Kapazität analysieren.
- 5xx: Origin und Upstreams prüfen.
Grenzen
Jeder Client kann Googlebot in den Header schreiben. Das Tool kommt nicht aus verifizierten Google-IP-Bereichen und reproduziert weder JavaScript-Rendering noch Cache, Crawl-Historie oder Indexentscheidungen. Nutze es für Serverdiagnose und Search Console für Googles tatsächliche Sicht.
SEO-Checkliste
- Googlebot und Browser erhalten gleichwertigen Hauptinhalt.
- Wichtige URLs haben keine langen Ketten oder sporadischen Fehler.
- robots.txt und Seiten-Robots entsprechen der Absicht.
- Canonical zeigt auf eine erreichbare, indexierbare URL.
- Sicherheit gewährt keine Sonderrechte nur anhand des User-Agent.
- JavaScript-Seiten werden zusätzlich gerendert geprüft.