Warum dieselbe Frage unterschiedliche Antworten liefert

Sie stellen dieselbe Anbieterfrage an zwei Tagen. Am Montag steht Ihre Marke in der Antwort, am Dienstag fehlt sie. Welche Antwort ist nun „richtig“? Für die Sichtbarkeitsmessung sind zunächst beide Beobachtungen relevant.

Redaktioneller Hinweis: Eine frühere Fassung dieses Beitrags enthielt Angaben zu einem eigenen Test mit jeweils 100 Abfragen bei fünf Modellen. Dafür liegt kein dokumentierter Versuchsdatensatz vor. Wir haben diese Angaben entfernt.

Mehrere Ursachen können zusammenkommen

Antworten können sich durch die Texterzeugung, veränderten Kontext oder andere Suchergebnisse unterscheiden. Auch ein Modellwechsel kann die Messbedingungen verändern. Aus dem Wechsel allein lässt sich nicht ablesen, welcher Faktor verantwortlich war.

Deshalb hilft ein Protokoll mehr als eine Vermutung: genauer Fragetext, Zeitpunkt, Anbieter, verfügbare Modellkennung, Antwort und Quellen. Für den Vergleich sollten außerdem Suchmodus und zusätzlicher Kontext festgehalten werden.

Was Sie aus Wiederholungen lesen können

Bei mehreren Abfragen lässt sich zählen, in wie vielen Antworten die Marke vorkam und wie ihre Positionen verteilt waren. Diese Raten beschreiben das untersuchte Panel. Sie sind kein Marktanteil und keine vollständige Abbildung realer Nutzerfragen.

Trennen Sie die Ergebnisse nach Anbieter, bevor Sie sie zusammenfassen. Eine insgesamt unveränderte Rate kann verdecken, dass die Marke bei einem Anbieter häufiger und bei einem anderen seltener genannt wurde.

Wenn die Daten für eine Entscheidung nicht ausreichen, gehört das in den Bericht. Eine zusätzliche Messung ist dann oft sinnvoller als eine Erklärung, die sich aus den vorhandenen Antworten nicht herleiten lässt.