robots.txt Checker
Prüfe, ob eine gültige robots.txt vorhanden ist und ob gängige Regeln enthalten sind.
Wird automatisch geprüft: (warte auf Eingabe)
Hinweise
- Empfohlene Einträge:
User-agent: *,Disallowfür sensible Pfade,Sitemap. - HTTP-Status sollte 200 sein. 404 bedeutet: keine robots.txt vorhanden.
- Google-Dokumentation
Was wird geprüft?
Der Checker ruft die robots.txt deiner Domain ab und prüft, ob die Datei erreichbar ist, ob mindestens ein User-agent definiert ist und ob eine Sitemap‑Zeile vorhanden ist. Zusätzlich wird der HTTP‑Status ausgegeben und die Datei Zeile für Zeile angezeigt.
Häufige Probleme
- 404: Es existiert keine robots.txt – lege sie im Webroot an.
- Kein User‑agent: Mindestens
User-agent: *hinzufügen. - Keine Sitemap: Die Angabe hilft Crawlern beim Finden deiner Sitemap.
Beispiel-Datei
User-agent: * Disallow: /api/ Disallow: /admin/ Sitemap: https://example.com/sitemap.xml
Tipps
- Pflege sensible oder nicht‑öffentliche Bereiche mit
Disallow. - Gib die vollständige URL zur Sitemap an (inkl. Protokoll und Domain).
- Änderungen können gecacht werden – bei Bedarf mit einem curl‑Test gegentesten.