AIWiki Crawler Lab

Die Teststrecke für Ihren Crawler — fertig aufgebaut.

Richten Sie Ihren Crawler auf einen eigenen Testlink. Dahinter warten 1024 vermessene Seiten mit bekannter Struktur. Danach sehen Sie, wie weit er kam, wie tief er ging und woran er hängen blieb — gemessen gegen eine Ground Truth, die Sie nicht selbst pflegen müssen.

Demo ansehen Funktionsweise
Kein Aufbau nötig Bekannte Ground Truth Läufe direkt vergleichbar
Eine Strecke, die sich nicht bewegt

Was sich ändert, ist Ihr Crawler — nicht die Messlatte.

Dasselbe Testnetz bei jedem Lauf: Wird ein Ergebnis besser oder schlechter, liegt es an Ihrer Änderung und nicht an einer Website, die sich zwischendurch umgebaut hat.

01

Ein Link je Variante

Jeder Testlink zählt für sich. Zwei Crawler-Versionen können damit gleichzeitig dieselbe Strecke laufen, ohne dass ihre Abrufe sich vermischen.

02

Kontrolliertes Testnetz

Discovery-Kanäle, Linktiefe und HTTP-Verhalten werden in einer endlichen Laborumgebung reproduzierbar bereitgestellt.

03

Vergleichbare Reports

Reports sollen Reichweite, Wege und Regelkonformität verständlich zeigen, getrennt nach Lauf und mit klarer Datenherkunft.

04

Datenschutz mitgedacht

Kurze Aufbewahrung, pseudonyme Kennungen und keine Roh-IP als dauerhaftes Analysemerkmal bilden die technische Grundlage.

So funktioniert es

Vom Testlink zum belastbaren Vergleich.

Die Produktarchitektur trennt Kundenkonto, Crawler-Zugriff und interne Auswertung voneinander.

Demo-Ablauf ausprobieren
  1. 1

    Lauf anlegen

    Sie bestimmen, wie viele Testlinks Sie brauchen — einen je Crawler-Version, die Sie vergleichen wollen.

  2. 2

    Crawler laufen lassen

    Sie richten Ihren Crawler auf den Link und starten ihn wie gewohnt. Ab dem ersten Abruf läuft das Beobachtungsfenster.

  3. 3

    Beobachtungen zuordnen

    Serverseitige Kennungen verbinden Requests mit Lauf und Crawler, ohne persönliche Daten im Link.

  4. 4

    Reports vergleichen

    Ergebnisse werden je Lauf zusammengeführt und mit derselben Ground Truth ausgewertet.

Datenschutz & Schweiz

Messbar, ohne unnötig identifizierbar zu werden.

Das Crawler Lab wird als Schweizer Projekt datensparsam konzipiert. Crawler-Links verwenden zufällige Kennungen statt E-Mail-Adressen oder Kundennamen. Roh-IP-Adressen sind nicht als dauerhaftes Analysemerkmal vorgesehen. Cloudflare und mögliche Auslandsbearbeitung sind in den Datenschutzhinweisen transparent dokumentiert.

Keine Werbe- oder Analyse-Tracker; Turnstile nur vor Live-Start Getrennte Kunden- und Crawler-Kennungen Verarbeitungsumfang transparent dokumentiert
Datenschutzhinweise ansehen
Pilotphase

Testen Sie einen echten Crawler-Lauf im begrenzten Labor.

Erzeugen Sie bis zu zwei kurzlebige Crawler-Links, senden Sie diese an die gewählten Systeme und laden Sie anschließend den redigierten Live-Report.

Demo öffnen