Was Crawler in einem kontrollierten Testnetz tatsächlich getan haben.
Eine Messung vom 29. Juli 2026 auf unserem eigenen, öffentlich erreichbaren Testnetz. Kein Live-Feed und keine Aussage über Ihre Website — aber ein Maßstab, an dem sich ein eigener Lauf einordnen lässt.
Wie diese Zahlen zustande kommen
Ein abgegrenztes Testnetz
Gemessen wurde auf 88 Seiten, die wir selbst betreiben und die zu nichts anderem da sind. Deshalb ist jeder Abruf zuordenbar: Es gibt keine Suchmaschinen-Historie, keine Verlinkung von aussen und keine anderen Besucher, die das Bild verwischen.
Ebene heisst Klicktiefe
Die Seiten sind ineinander verschachtelt. Ebene 1 ist der Einstieg, Ebene 9 erreicht nur, wer acht Mal hintereinander einem Verweis gefolgt ist. Wie tief ein Crawler kommt, zeigt, ob er wirklich navigiert oder nur die erste Seite abruft.
Jede Seite hat genau einen Weg
Manche Zielseiten sind ausschliesslich über einen gewöhnlichen Link erreichbar, andere nur über ein rel="nofollow", über JavaScript, über JSON-LD oder über einen HTTP-Header. Wer dort ankommt, muss diesem einen Weg gefolgt sein — das macht sichtbar, welche Verweisarten ein Crawler überhaupt auswertet.
Fehler sind Teil des Aufbaus
Ein Teil der Seiten antwortet absichtlich mit 401, 403 oder 404. So lässt sich beobachten, ob ein Crawler eine Grenze respektiert oder es trotzdem weiter versucht. Die 57 Fehlerantworten sind daher gewolltes Messergebnis und kein Defekt.
Wie viel jede Crawler-Kennung abgerufen hat
Requests je Kennung
Die Kennung ist eine Behauptung des Clients, kein Nachweis der Identität.
| Kennung | Einstufung | Requests | Eindeutige Pfade | Tiefste Ebene |
|---|---|---|---|---|
| Andere oder unbekannte Kennung | unbekannter Crawler | 202 | 97 | Ebene 9 |
| ChatGPT-User/1.0 | KI-Crawler | 162 | 76 | Ebene 9 |
| ClaudeBot/1.0 | KI-Crawler | 37 | 35 | Ebene 3 |
Bemerkenswert ist der Unterschied in der Tiefe: eine Kennung folgte Verweisen bis zur neunten Ebene, eine andere blieb bei der dritten. Wie weit ein Crawler geht, unterscheidet sich stärker als wie viel er abruft.
Über welchen Weg Seiten gefunden wurden
Abrufe je Discovery-Kanal
Jede dieser Zielseiten ist ausschliesslich über den genannten Verweistyp erreichbar.
Ein mit rel="nofollow" ausgezeichneter Verweis wurde in diesem Fenster genauso oft abgerufen wie ein gewöhnlicher HTML-Link. nofollow ist eine Bitte an Suchmaschinen, keine technische Sperre — wer das als Zugriffsschutz einsetzt, verlässt sich auf Freiwilligkeit.
Was diese Zahlen nicht sagen
Ein Abruf beweist nicht, dass eine Seite indexiert, zitiert, gelesen oder für ein Training verwendet wurde. Die Kennung im User-Agent ist eine nicht überprüfte Angabe des Clients. Das Messfenster umfasst 29.7.2026, 10:53:55 bis 29.7.2026, 13:40:04 und beschreibt einen einzelnen Korpus, nicht das Verhalten dieser Crawler im Allgemeinen.
Eigenen Lauf starten