Warum sich Ihr KI-Score verändert

Ihr KI-Score bewegt sich auch dann, wenn sich an Ihrer Marke nichts geändert hat. Dieser Artikel erklärt, woher diese Schwankungen kommen, wie KI Score sie abfedert und woran Sie erkennen, ob eine Veränderung wirklich eindeutig ist.

KI-Antworten sind nicht deterministisch

KI-Systeme beantworten dieselbe Frage nicht jedes Mal gleich. Die Formulierung variiert von Abruf zu Abruf, und die Ergebnisse der Websuche, auf die sich die Antworten stützen, ändern sich laufend. Eine Marke, die heute genannt wird, kann morgen fehlen, ohne dass sich im Markt etwas getan hat.

Damit einzelne Tage nicht zu viel Gewicht bekommen, stellt ein Marktmessung jede Frage des Fragenkatalogs je KI-Anbieter zweimal, an zwei Messtagen im Abstand von drei Tagen (Montag und Donnerstag). Das dämpft Tageseffekte, schaltet sie aber nicht aus.

Ihre eigenen Monitoring-Prompts verändern den KI-Score nicht. Er beruht allein auf der Marktmessung, die für alle Marken eines Markts mit demselben Fragenkatalog arbeitet.

Mittelung über drei Kalenderwochen

Bei wöchentlich gemessenen Märkten zeigt KI Score den Mittelwert der gewerteten Messungen aus der aktuellen und den zwei vorherigen Messwochen. Ein einzelner Ausreißer fällt dadurch weniger ins Gewicht. Umgekehrt zeigt sich auch eine echte Verbesserung erst nach und nach im angezeigten Wert.

Eine Woche, die nicht gewertet wurde, ersetzt KI Score nicht durch eine ältere. Das Fenster enthält dann einfach weniger Messungen.

Hinweis: Auch bereits angezeigte Werte können sich nachträglich verschieben. Wird eine bisher unbekannte Marke nachträglich zugeordnet, berechnet KI Score die vergangenen Wochen neu.

Monatliche Messung in Essential

Im Tarif Essential wird Ihr Markt einmal im Monat gemessen, in der ersten Messwoche des Monats. Geglättet wird dann über Messzyklen von einem Monat: Angezeigt wird der Mittelwert aus bis zu drei Monatsmessungen. Ein neuer Wert erscheint nur einmal im Monat, und eine echte Veränderung braucht entsprechend länger, bis sie im angezeigten Wert ankommt.

Eine Ausnahme gibt es: Nutzt ein anderer Kunde mit wöchentlicher Messung denselben Markt, wird dieser Markt wöchentlich gemessen. Wöchentlich gemessen wird in den Tarifen Advanced, Premium und Enterprise. Einen Überblick über die Tarife finden Sie auf der Preisseite.

Nicht gewertete Wochen als Lücke

Nicht jede Messwoche fließt in den KI-Score ein. KI Score wertet eine Woche nicht, wenn weniger als 80 % der geplanten Antworten vorliegen oder wenn die Antworten zu ungleich auf die KI-Anbieter verteilt sind. So verzerrt eine unvollständige Messung Ihren Wert nicht.

Im Diagramm KI-Score im Zeitverlauf erscheint eine solche Woche als Lücke. Über den Karten der KI-Score-Seite steht dann ein Hinweis wie „Eine Messwoche wurde nicht gewertet und erscheint deshalb als Lücke.“ Im Tooltip des Diagramms ist die betroffene Woche mit „nicht gewertet“ markiert. Auch Wochen, in denen gar nicht gemessen wurde, unterbrechen die Linie.

Neue Methodik-Serie

KI Score vergleicht nur Messungen, die unter denselben Bedingungen entstanden sind. Ändert sich eine dieser Bedingungen, beginnt eine neue Serie:

• der Fragenkatalog des Markts,
• die Version der Auswertung,
• die Zusammenstellung der KI-Anbieter,
• die Zahl der Wiederholungen,
• das Modell, das ein KI-Anbieter tatsächlich geliefert hat.

Mit einer neuen Serie bricht der Verlauf ab, und Werte aus der alten Serie werden nicht mit den neuen gemittelt. Der Wert gilt als vorläufig, bis die neue Serie 3 gewertete Messungen hat. Bei wöchentlicher Messung dauert das mindestens drei Wochen, bei monatlicher Messung etwa drei Monate.

Wann eine Veränderung eindeutig ist

Ob sich ein Wert wirklich bewegt hat, zeigt die Spalte Veränderung in der Karte Marktvergleich auf der KI-Score-Seite. Sie berücksichtigt die normale Schwankung der Messung über ein Konfidenzintervall.

Die Sidebar zeigt neben KI-Score nur Ihren aktuellen Wert, ohne Trend-Symbol. Ob sich der Wert wirklich bewegt hat, lesen Sie deshalb in der Spalte Veränderung ab.