KI-Crawler-Traffic verstehen

Dieser Artikel erklärt, was Sie im Tab KI-Crawler von Traffic Overview sehen: welche KI-Crawler Ihre Website abrufen, wie oft, wofür und welche Seiten. Außerdem erfahren Sie, woran KI Score einen Crawler erkennt und wo diese Erkennung an Grenzen stößt.

Was als Crawler-Abruf zählt

Ein Crawler-Abruf ist ein einzelner Abruf Ihrer Website, den KI Score einem bekannten KI-Crawler zuordnet. Dafür braucht es die serverseitige Integration: Ihr Server meldet Aufrufe an KI Score, und KI Score prüft den mitgesendeten User-Agent. Passt er zu einem der 33 hinterlegten Bot-Namen, etwa GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, Googlebot oder Bingbot, wird der Abruf gespeichert. Aufrufe ohne passenden User-Agent zählen nicht als Crawler-Abruf.

Solange die Integration nicht eingerichtet ist, bleibt der Bereich leer. Die Einrichtung finden Sie in der Sidebar unter Einstellungen → Traffic-Tracking.

So öffnen Sie die Crawler-Daten:

1. Öffnen Sie in der Sidebar in der Gruppe „KI-Traffic“ den Eintrag Traffic Overview.
2. Wählen Sie oben unter Zeitraum eine Voreinstellung wie Letzte 7 Tage, Letzte 14 Tage oder Letzte 30 Tage oder markieren Sie im Kalender einen eigenen Zeitraum. Klicken Sie dann auf Übernehmen. Standard sind die letzten 30 Tage.
3. Wechseln Sie vom Tab KI-Verweise, der zuerst angezeigt wird, zum Tab KI-Crawler.

Die Kennzahlen im Überblick

Oben im Tab KI-Crawler stehen drei Kennzahlen für den gewählten Zeitraum:

Die Kennzahlen zu menschlichen Besuchen aus KI-Antworten stehen im Tab KI-Verweise.

Abrufe im Zeitverlauf und Zweck der Abrufe

Das Diagramm Abrufe im Zeitverlauf zeigt die Zahl der Abrufe aller KI-Crawler zusammen je Tag. Die Tage werden nach deutscher Zeit (Europe/Berlin) gebildet.

Die Karte Zweck der Abrufe teilt die Abrufe in Sichtbarkeit und Training auf, jeweils mit Anzahl und Anteil. Abrufe, die KI Score keinem Zweck zuordnen kann, etwa weil der Crawler-Name fehlt, stehen dort unter Ohne Zuordnung.

Crawler und Anbieter

Die Tabelle Crawler listet die zehn häufigsten Crawler-Namen mit Anzahl und Anteil an allen Abrufen im Zeitraum. Die Tabelle Anbieter fasst die Abrufe nach Unternehmen zusammen, etwa OpenAI, Anthropic, Google oder Perplexity, ebenfalls mit den zehn häufigsten Einträgen.

Neueste Abrufe

Die Tabelle Neueste Abrufe zeigt höchstens die 25 jüngsten Abrufe im gewählten Zeitraum mit diesen Spalten:

• Crawler: der erkannte Bot-Name, darunter der Anbieter und der Zweck.
• Abgerufene Seite: die Seite, die der Crawler abgerufen hat.
• IP-Adresse: die gemeldete IP-Adresse des Crawlers, falls vorhanden.
• Zeit: Datum und Uhrzeit des Abrufs.

So sehen Sie schnell, welche Seiten KI-Crawler zuletzt abgerufen haben.

Grenzen der Erkennung

• Nur der User-Agent zählt. KI Score prüft keine IP-Adressen. Gibt sich ein anderer Bot mit einem gefälschten User-Agent als GPTBot aus, wird er trotzdem als GPTBot gezählt.
• Nur bekannte Namen. Crawler, deren Name nicht hinterlegt ist, erscheinen nicht.
• Nur gemeldete Aufrufe. KI Score sieht ausschließlich Abrufe, die Ihre Integration meldet.
• Kein schreibgeschützter Workspace. Solange Ihr Workspace schreibgeschützt ist, nimmt KI Score keine Crawler-Abrufe an.
• Beobachten, nicht steuern. KI Score blockiert keine Bots. Welche Crawler Ihre robots.txt zulässt, prüft die KI-Readiness.