Crawling-Steuerung

Robots.txt Tester & Validator

Der robots.txt Tester & Validator ermöglicht eine umfassende Prüfung von Crawling-Regeln. Mit Crawler-spezifischen URL-Tests, automatischer Fehlererkennung und detaillierter Regelauswertung werden Konfigurationsprobleme schnell sichtbar.

Noch nicht geprüft

robots.txt

Die Inhalte der robots.txt des eingegebenen Hosts werden automatisch eingefügt.
Sie können die Regeln auch manuell eingeben oder hochladen.

Das Tool befindet sich in einer öffentlichen Beta-Phase. Rückmeldungen zu dem Tool, Verbesserungsvorschläge und Bugreports sind ausdrücklich erwünscht. Alle Ergebnisse ohne Gewähr.

BOM und Zeichenkodierung prüft das Tool nur beim Laden über die URL.

Die Auswertung beruht auf Googles robots.txt-Parser (Copyright Google LLC), lizenziert unter der Apache License 2.0.

Versionsverlauf

1.0

Erste öffentliche Version.

  • robots.txt-Abruf per URL, Einfügen oder Datei-Upload
  • Editor mit Zeilennummern, Sprung zur entscheidenden Regel und Markierung weiterer passender Regeln
  • URL-Test für 51 selektierbare Crawler aus Suche, KI, Werbung, Archiven und SEO-Tools sowie Kontroll-Tokens wie Google-Extended – plus Angabe eines eigenen Tokens
  • Engine nach Googles robots.txt-Parser
  • RFC-9309-Abgleich
  • Validator mit Fehlern, Warnungen und Hinweisen, jeweils mit Zeile und Quelle
  • Erkennung von Tippfehlern, fremden Einträgen wie noindex, wirkungslosen und überflüssigen Regeln, Regex-Syntax und gesperrten CSS- und JavaScript-Ordnern
  • Abruf-Diagnose mit Statuscode, Weiterleitungsketten, Kopfzeilen, Inhaltstyp und Cache-Dauer, inklusive Erkennung von Bot-Schutz