Ein Link pro Crawler
Jeder Lauf erhält einen eigenen, nicht sprechenden Testlink. So bleibt die Zuordnung unabhängig von wechselnden User-Agent-Angaben.
Geben Sie jedem Crawler einen eigenen Testlink. Das Crawler Lab macht Wege, Grenzen und Unterschiede in einem kontrollierten Netzwerk nachvollziehbar, ohne Ihre produktive Website als Versuchsfeld zu nutzen.
Ein konsistentes Testnetz schafft dieselbe Ausgangslage für unterschiedliche Crawler und trennt technische Signale sauber voneinander.
Jeder Lauf erhält einen eigenen, nicht sprechenden Testlink. So bleibt die Zuordnung unabhängig von wechselnden User-Agent-Angaben.
Discovery-Kanäle, Linktiefe und HTTP-Verhalten werden in einer endlichen Laborumgebung reproduzierbar bereitgestellt.
Reports sollen Reichweite, Wege und Regelkonformität verständlich zeigen, getrennt nach Lauf und mit klarer Datenherkunft.
Kurze Aufbewahrung, pseudonyme Kennungen und keine Roh-IP als dauerhaftes Analysemerkmal bilden die technische Grundlage.
Die Produktarchitektur trennt Kundenkonto, Crawler-Zugriff und interne Auswertung voneinander.
Wählen Sie ein Szenario und die Crawler, die Sie gegenüberstellen möchten.
Jeder Crawler erhält einen eigenen, zeitlich begrenzten Zugang zum selben Testnetz.
Serverseitige Kennungen verbinden Requests mit Lauf und Crawler, ohne persönliche Daten im Link.
Ergebnisse werden je Lauf zusammengeführt und mit derselben Ground Truth ausgewertet.
Das Crawler Lab wird als Schweizer Projekt datensparsam konzipiert. Crawler-Links verwenden zufällige Kennungen statt E-Mail-Adressen oder Kundennamen. Roh-IP-Adressen sind nicht als dauerhaftes Analysemerkmal vorgesehen. Cloudflare und mögliche Auslandsbearbeitung sind in den Datenschutzhinweisen transparent dokumentiert.
Erzeugen Sie bis zu zwei kurzlebige Crawler-Links, senden Sie diese an die gewählten Systeme und laden Sie anschließend den redigierten Live-Report.