Nach einem Modellwechsel braucht die Kurve eine Erklärung

Die Erwähnungsrate springt, obwohl an der Website nichts geändert wurde. Im selben Zeitraum wurde das verwendete Modell gewechselt. Das ist ein Anlass, die Messbedingungen zu prüfen, bevor das Team einen Erfolg oder Verlust meldet.

Ein Modellwechsel muss nicht jede Aussage unbrauchbar machen. Er verändert aber eine Bedingung, die für den Vergleich wichtig sein kann.

Was vor und nach dem Wechsel festgehalten wird

Notieren Sie die verfügbaren Modellkennungen, den Anbieter und das Datum. Prüfen Sie zusätzlich, ob die Fragen, der Suchmodus oder die Zahl der Abfragen verändert wurden. Häufig treten mehrere Änderungen zusammen auf; dann lässt sich ihr jeweiliger Anteil aus der Kurve allein nicht trennen.

Lesen Sie einige Antworten beider Zeiträume. Sind sie länger geworden? Verwenden sie andere Quellen oder eine andere Reihenfolge? Solche Beobachtungen erklären die Zahlen nicht vollständig, können aber helfen, die nächste Prüfung zu bestimmen.

Wenn eine parallele Messung möglich ist

Eine begrenzte Überlappung mit denselben Fragen kann zeigen, wie stark sich die beobachteten Antworten unterscheiden. Dafür muss das alte Modell noch verfügbar sein. Dokumentieren Sie den Umfang und behandeln Sie auch diesen Vergleich als Stichprobe.

Ist ein Paralleltest nicht möglich, bleibt die Einschränkung im Bericht sichtbar. Die Kurve sollte am Wechsel einen Hinweis erhalten. Eine Korrektur der Werte mit einem frei gewählten Faktor würde die Vergleichbarkeit nur vortäuschen.

Was das für den nächsten Bericht heißt

Trennen Sie die Aussage über das Ergebnis von der Aussage über seine Ursache. „Die Marke wird im aktuellen Panel häufiger genannt“ kann durch Daten gedeckt sein. „Unsere Textänderung hat das verursacht“ braucht zusätzliche Belege.

Für weitere Beobachtungen lässt sich nach dem Wechsel ein neuer Ausgangsstand festhalten. Damit wird die bisherige Arbeit nicht wertlos; sie bleibt der dokumentierte Stand eines früheren Messaufbaus. Der Bericht erklärt, warum die beiden Abschnitte mit Vorsicht verglichen werden müssen.