Welcher KI-Bot ruft Ihre Website ab?

Im Server-Log steht GPTBot. Das ist noch kein Beleg dafür, dass die Website in einer Suchantwort auftaucht. Der Name bezeichnet einen bestimmten Zugriffszweck. Wer alle KI-Bots gleich behandelt, trifft schnell die falsche Entscheidung über Freigaben.

Suche und Training getrennt betrachten

OpenAI unterscheidet unter anderem OAI-SearchBot für die Suche und GPTBot für mögliche Trainingsdaten. ChatGPT-User ruft Seiten im Zusammenhang mit Nutzeraktionen ab. Auch Anthropic beschreibt getrennte Bots für Training, Suche und Nutzerabrufe. Die jeweilige Anbieter-Dokumentation ist die richtige Grundlage für Regeln; alte Bot-Listen altern schnell.

Eine Freigabe für die Suche muss deshalb nicht automatisch eine Freigabe für Training sein. Umgekehrt schaltet das Sperren eines Trainings-Crawlers nicht pauschal sämtliche Produkte eines Anbieters aus.

Was kommt beim Abruf zurück?

Prüfen Sie eine relevante Seite vom Eingang der Anfrage bis zur ausgelieferten Antwort. Erhält der Abruf einen normalen Seiteninhalt oder eine Zugangssperre? Fehlen wesentliche Angaben ohne nachgeladenes JavaScript? Gibt es Umleitungen, Fehlerstatus oder eine Bot-Challenge?

Ein Browser-Screenshot beantwortet diese Fragen nur teilweise. Server-Logs und die tatsächlich ausgelieferte Antwort helfen, das Problem einzugrenzen. Ein User-Agent allein beweist außerdem nicht die Identität des Bots; für eine solche Prüfung sind die vom Anbieter veröffentlichten Verfahren oder IP-Listen relevant.

Dokumentieren Sie die beabsichtigten Freigaben und prüfen Sie nach einer Änderung erneut. Ein erfolgreicher Abruf zeigt technische Erreichbarkeit. Ob die Seite später zitiert wird, ist eine weitere Beobachtung.

Quellen: OpenAI, Anthropic.