Welche KI-Crawler besuchen Ihre Website am häufigsten?

In Traffic Overview sehen Sie, welche KI-Crawler Ihre Website am häufigsten abrufen, zu welchen Anbietern sie gehören, wofür sie Ihre Seiten abrufen und welche Seiten zuletzt abgerufen wurden. Voraussetzung ist, dass Ihre Website Traffic-Daten serverseitig an KI Score sendet. Ohne diese Integration zeigt die Seite keine Auswertungen.

Die Top-Crawler

So öffnen Sie die Crawler-Auswertung:

1. Öffnen Sie in der Sidebar KI-Traffic → Traffic Overview.
2. Wählen Sie oben unter Zeitraum den gewünschten Zeitraum, etwa Letzte 30 Tage, oder markieren Sie im Kalender einen eigenen Zeitraum.
3. Wechseln Sie auf den Tab KI-Crawler.

Die Tabelle Crawler listet die zehn am häufigsten erkannten Crawler im gewählten Zeitraum mit den Spalten Anzahl und Anteil. Der Anteil bezieht sich auf alle Abrufe im Zeitraum. Erkannt wird jeder Crawler an seinem User-Agent, etwa GPTBot, ClaudeBot oder PerplexityBot. Das Diagramm Abrufe im Zeitverlauf zeigt, wie sich die Abrufe über den Zeitraum verteilen. Die Gesamtzahl steht oben in der Kennzahl Abrufe durch KI-Crawler, zusammen mit der Zahl der verschiedenen Crawler.

Nach Anbieter gruppiert

Die Tabelle Anbieter fasst dieselben Abrufe nach Unternehmen zusammen, zum Beispiel OpenAI, Anthropic, Google, Perplexity, Microsoft, Meta, Amazon, Apple oder Common Crawl. Sie zeigt höchstens die zehn häufigsten Anbieter, jeweils mit Anzahl und Anteil.

Ein Anbieter bündelt alle Crawler eines Unternehmens, unabhängig von ihrem Zweck. Unter OpenAI erscheinen zum Beispiel GPTBot und OAI-SearchBot gemeinsam.

Sichtbarkeits- und Trainings-Crawler

Traffic Overview ordnet jeden bekannten Crawler einem Zweck zu, nach derselben Einteilung wie die KI-Readiness:

• Sichtbarkeits-Crawler rufen Inhalte für einen Suchindex oder live für KI-Antworten ab, etwa OAI-SearchBot, PerplexityBot oder Googlebot. Sperren Sie diese Crawler aus, kostet das Sichtbarkeit in KI-Antworten.
• Trainings-Crawler sammeln Trainingsdaten, etwa GPTBot, CCBot oder Bytespider. Eine Sperre ist eine strategische Entscheidung und kostet in der Regel keine unmittelbare Sichtbarkeit.

Die Kennzahlen Sichtbarkeits-Crawler und Trainings-Crawler und die Karte Zweck der Abrufe zeigen, wie sich die Abrufe auf beide Gruppen verteilen. Abrufe ohne bekannten Crawler-Namen stehen dort unter Ohne Zuordnung. In der Tabelle Neueste Abrufe steht der Zweck bei jedem einzelnen Abruf.

Welche Pfade abgerufen werden

Welche Seiten ein Crawler abgerufen hat, sehen Sie in der Tabelle Neueste Abrufe. Sie zeigt die zuletzt erkannten Abrufe mit höchstens 25 Zeilen. Jede Zeile enthält den Crawler mit Anbieter und Zweck, die Abgerufene Seite, die IP-Adresse und die Zeit des Abrufs.

Hinweis: Eine Auswertung nach Pfad bietet KI Score nicht. Sie sehen also keine Rangliste der am häufigsten abgerufenen Seiten, sondern nur die jüngsten Einzelabrufe. Traffic Overview hat außerdem keinen Datei-Export.

Tipp: Ob Ihre robots.txt Sichtbarkeits- und Trainings-Crawler zulässt, prüft die KI-Readiness. Traffic Overview zeigt nur, welche Crawler Ihre Website tatsächlich abgerufen haben.