KI-Crawler-Zugriff auf Ihre Website sicherstellen

Damit KI-Antworten Ihre Seiten abrufen und zitieren können, müssen die zuständigen Crawler Ihre Website laut robots.txt besuchen dürfen. Dieser Artikel zeigt, wo Sie die Freigaben in der KI-Readiness sehen, wie KI Score Ihre robots.txt auswertet und wo die Prüfung an ihre Grenzen stößt.

Sichtbarkeits- und Trainings-Crawler

KI Score unterscheidet zwei Gruppen von Crawlern:

• Sichtbarkeits-Crawler rufen Inhalte für einen Suchindex oder live für eine KI-Antwort ab, zum Beispiel OAI-SearchBot, ChatGPT-User, PerplexityBot, Perplexity-User, Claude-SearchBot, Claude-User, Googlebot und Bingbot. Sperren Sie einen davon, kann das zugehörige KI-System Ihre Seite nicht mehr abrufen und damit auch nicht zitieren.
• Trainings-Crawler sammeln nur Trainingsdaten, zum Beispiel GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent und CCBot. Ob Sie Ihre Inhalte für das Training freigeben, ist eine strategische Entscheidung. Eine Sperre kostet keine unmittelbare Sichtbarkeit und wird von KI Score nie als Fehler gewertet.

Sie können also Trainings-Crawler aussperren und trotzdem in KI-Antworten sichtbar bleiben, solange die Sichtbarkeits-Crawler zugelassen sind.

Gegen Ihre robots.txt prüft KI Score den ganzen hinterlegten Crawler-Katalog, also auch weitere KI-Crawler wie Applebot, Amazonbot oder Bytespider. So sehen Sie, wen Sie sonst noch aussperren. Für die Prüfung der Sichtbarkeits-Crawler zählen diese weiteren Crawler nicht.

Die Tabelle „KI-Crawler“

1. Öffnen Sie in der Sidebar unter Optimierung die Seite KI-Readiness.
2. Starten Sie mit Analyse starten eine Analyse, falls noch keine vorliegt. Die KI-Readiness kostet keine Credits.
3. Bleiben Sie oben im Bereich KI-Crawler, der zuerst angezeigt wird. Die Karte KI-Crawler trägt den Untertitel „Freigaben laut robots.txt. Sperren durch Firewall oder CDN (etwa Bot-Schutz) erkennt diese Prüfung nicht.“

Oben rechts nennt die Karte, wie viele der geprüften Crawler erlaubt sind. Mit den Schaltflächen Alle, Sichtbarkeit, Training, Erlaubt und Blockiert filtern Sie die Tabelle. Sie hat vier Spalten:

Ein blockierter Sichtbarkeits-Crawler, der robots.txt laut Anbieter beachtet, ist farblich als Fehler hervorgehoben, ein blockierter Trainings-Crawler nicht.

Geprüft wird die Freigabe von sechs Sichtbarkeits-Crawlern, die robots.txt laut Anbieter beachten: OAI-SearchBot, PerplexityBot, Claude-SearchBot, Claude-User, Googlebot und Bingbot. ChatGPT-User und Perplexity-User stehen nur als Hinweis in der Tabelle, weil sie robots.txt laut Anbieter kaum beachten. Trainings-Crawler führen nie zu einem offenen Punkt. Sperrt Ihre robots.txt einen der sechs Crawler, finden Sie im Bereich Nächste Schritte den Punkt „Sichtbarkeits-Crawler freigeben“.

Wie KI Score die robots.txt auswertet

KI Score liest die Datei /robots.txt Ihrer Website und wendet die Regeln auf die eingetragene Adresse an, bei einer Weiterleitung auch auf deren Ziel. Dabei gilt:

• Gibt es eine Gruppe mit dem Namen des Crawlers, gilt nur diese. Sonst gilt die Gruppe User-agent: *.
• Die Platzhalter * (beliebige Zeichen) und $ (Pfadende) werden unterstützt.
• Passen mehrere Regeln, gewinnt der längste Treffer. Bei gleicher Länge gewinnt Allow.
• Ist die robots.txt nicht erreichbar, weil der Server mit einem 5xx-Fehler oder 429 antwortet oder die Anfrage in eine Zeitüberschreitung läuft, gilt das wie bei echten Crawlern als komplette Sperre. Alle Crawler stehen dann auf Blockiert.
• Fehlt die Datei (übrige 4xx-Antworten) oder liefert der Server statt einer robots.txt eine HTML-Seite aus, gelten alle Crawler als erlaubt.

Was die Prüfung nicht erkennt

Die Tabelle zeigt ausschließlich, was Ihre robots.txt erlaubt. KI Score ruft Ihre Website nie mit den User-Agents der Crawler ab, sondern mit einer eigenen Kennung („KiScore-Checker/2.0“). Deshalb bleiben Sperren unsichtbar, die erst auf Ihrem Server greifen, etwa durch eine Firewall, ein CDN, eine Web Application Firewall oder einen Bot-Schutz. Steht ein Crawler auf Erlaubt, kann er in der Praxis trotzdem abgewiesen werden.

Prüfen Sie solche Einstellungen direkt bei Ihrem Hosting- oder CDN-Anbieter. Ob Crawler tatsächlich auf Ihrer Website ankommen, sehen Sie unter Traffic Overview, sofern Sie die Traffic-Integration eingerichtet haben.

Crawler-Freigaben verbessern

1. Filtern Sie die Tabelle KI-Crawler mit Blockiert und suchen Sie alle Sichtbarkeits-Crawler mit diesem Status.
2. Öffnen Sie Ihre robots.txt und suchen Sie die Regel, die den Crawler sperrt, entweder in einer eigenen Gruppe oder unter User-agent: *.
3. Erlauben Sie den Crawler, zum Beispiel mit einer eigenen Gruppe User-agent: OAI-SearchBot und Allow: /.
4. Entscheiden Sie für die Trainings-Crawler getrennt, ob Sie sie zulassen oder sperren möchten.
5. Stellen Sie sicher, dass /robots.txt zuverlässig und ohne Serverfehler ausgeliefert wird.
6. Klicken Sie in der KI-Readiness auf Neu analysieren, um das Ergebnis zu prüfen.

Hinweis: Blockiert eine Regel für User-agent: * Ihre ganze Website, betrifft das auch Googlebot und Bingbot, sofern es für sie keine eigene Gruppe gibt. KI Score ordnet diese beiden Crawler den KI-Antworten von Google und Microsoft Copilot zu.