Wie viele Antworten reichen für einen Vergleich?

„Wir messen tausend Prompts“ klingt gründlich. Ob die Ergebnisse eine konkrete Geschäftsfrage beantworten, bleibt damit offen. Tausend beinahe identische Formulierungen können weniger nützlich sein als eine kleinere Auswahl, die verschiedene Kaufentscheidungen abdeckt.

Breite und Wiederholung sind verschiedene Dinge

Mit zusätzlichen Fragen erweitern Sie den untersuchten Themenbereich. Mit Wiederholungen derselben Frage beobachten Sie, wie stabil die Antworten unter ähnlichen Bedingungen ausfallen. Das eine ersetzt das andere nicht.

Ein Rechenbeispiel: Wird eine Marke in sechs von zehn Antworten genannt, beträgt die beobachtete Erwähnungsrate 60 Prozent. Das beschreibt diese zehn Antworten. Daraus folgt weder eine feste Rate für alle künftigen Antworten noch eine Aussage über sämtliche Fragen einer Branche.

Was in ein Messprotokoll gehört

• Welche Fragen wurden untersucht, und wie wurden sie ausgewählt?
• Welche Anbieter und Modelle waren beteiligt?
• Wann und wie oft wurde jede Frage gestellt?
• Welche Antworten fehlen oder konnten nicht ausgewertet werden?

Ein größeres Panel behebt keine einseitige Auswahl. Enthalten alle Fragen bereits den Markennamen, lässt sich daraus wenig über die Präsenz bei offenen Anbieterfragen ableiten.

Für einen Vergleich zwischen zwei Zeiträumen sollten Sie außerdem Änderungen am Panel festhalten. Sonst kann eine gestiegene Rate schlicht daran liegen, dass schwierige Fragen weggefallen sind.

Eine allgemeingültige Mindestzahl lässt sich daraus nicht seriös ableiten. Sie hängt davon ab, wie stark die Antworten schwanken und welche Entscheidung die Messung tragen soll. Wichtiger als eine beeindruckende Gesamtzahl ist ein nachvollziehbarer Aufbau, dessen Grenzen im Bericht sichtbar bleiben.