Repräsentativität = Qualität?
Was bedeutet Repräsentativität
und beeinflusst sie Qualität
in der Marktforschung?
1994 berichtete der Spiegel von Schummeleien in der Marktforschungs-Branche – von dubiosen Zahlen bei nachlässig ermittelten Umfrageergebnissen.
Schon damals wurde der Ruf nach strengeren Qualitätskontrollen und gewissenhafterer Arbeit laut. In den folgenden 25 Jahren scheint sich wenig geändert zu haben. Der Spiegel berichtet seit einigen Monaten unter dem Stichwort „Die Akte Marktforschung“ wieder laufend über fragwürdige Praktiken in der Marktforschungs-Branche (beispielsweise von Daten aus nie geführten Interviews, gefälschten Ergebnissen, gefälschten Samples, etc.).
Gleichzeitig kommt es zu medialen Auseinandersetzungen deutscher Marktforschungs-Institute über methodische Ansätze und deren statistische Qualität.
Zum Beispiel behauptet das Start-Up Civey einen vollkommen neuen Ansatz in der Marktforschung gefunden zu haben. Es stellt die eigenen Ergebnisse als repräsentativ dar, auch wenn das zugrundeliegende Sample nicht repräsentativ ist.
In einschlägigen Medien ist seither das Thema Qualität und insbesondere Repräsentativität stark in den Mittelpunkt der Diskussion gerückt.
Sehr häufig wird im Umfeld quantitativer Marktforschung der Begriff „Repräsentativität“ als das zentrale Qualitätskriterium genannt. Aber Repräsentativität ist natürlich kein Garant für die Validität von Marktforschungsergebnissen. Viele andere Bausteine beeinflussen diese deutlich stärker. Der Fokus auf Repräsentativität greift viel zu kurz.
Was bedeutet „Repräsentativität“?
„Repräsentativität“ ist in der Marktforschung vor allem deshalb ein Thema, weil es selten sinnvoll ist, Information von allen Mitgliedern der Grundgesamtheit zu erheben. Daher wird auf einen Ausschnitt dieser Grundgesamtheit zurückgegriffen (das Sample), von dem man sich erhofft, dass es die Grundgesamtheit möglichst gut „repräsentiert“.
Häufig wird suggeriert, dass der Prozess, wie ein Sample ausgewählt wird, die Repräsentativität beeinflusst. Eine Zufallsstichprobe wird dabei oft als Ideal genannt. Das ist ein Missverständnis. Eine Zufallsstichprobe kann (im Sinne ihrer Bezeichnung) auch höchst unrepräsentative Samples produzieren. Beispielsweise könnte ein Sample aus 100 Frauen bestehen, obwohl die Grundgesamtheit gleich viele Männer wie Frauen enthält. Oder das Sample besteht aus 100 Vorarlbergern, obwohl die Grundgesamtheit alle Österreicher umfasst.
Der Vorteil einer Zufallsstichprobe liegt vor allem darin, dass man die Verteilung des Sampling Errors berechnen kann und damit das Vertrauen in die Präzision eines Schätzwertes. Repräsentativ wird eine Stichprobe durch Zufallsauswahl nicht, wobei eine größere Stichprobe den wahrscheinlichen Schätzfehler reduziert. Aber auch bei anderen Auswahlverfahren ist Repräsentativität unwahrscheinlich, denn das würde in letzter Konsequenz bedeuten, dass die Stichprobe in allen interessierenden Merkmalen exakt der Grundgesamtheit entspricht.
Repräsentativität gibt es nicht – oder doch?
Eine Population (Grundgesamtheit) ist durch eine Vielzahl von Merkmalen charakterisierbar. In einer endlichen Stichprobe können aber alle diese Merkmalsverteilungen unmöglich gleich repräsentiert sein. Und selbst wenn es so wäre, wüssten wir das nicht: Viele der interessierenden Merkmale sind nicht bekannt, dieses Wissensdefizit begründet erst die Untersuchung.
Daher kann Repräsentativität nur für jene Charakteristika gefordert (und überprüft) werden, die in der Stichprobe beobachtbar und für die Gesamtbevölkerung bekannt sind, wie beispielsweise Geschlecht, Alter, Wohnort, oder Bildung. Quotenstichproben sichern die Repräsentativität bezüglich dieser Aspekte, sind aber natürlich genauso kritisch zu sehen, weil die „richtigen“ Quoten vorab nicht bekannt sind. Vor allem für die dem Untersuchungsziel zugrundeliegenden Merkmale (z.B. Einstellung zu neuen Produkten, Bekanntheit von Marken) sind die Verteilungen nicht bekannt.
Auch Online-Befragungen, die auf registrierte Online-Samples zurückgreifen, können Repräsentativität nur bezüglich jener Faktoren sicherstellen, bei denen die Verteilung in der Grundgesamtheit und die Ausprägung bei jedem Befragungsteilnehmer bekannt ist. Dann können diese spezifisch ausgewählt oder gewichtet werden. Natürlich enthalten Online-Samples nicht alle denkbaren Gruppen der Gesamtbevölkerung, wie beispielsweise Personen, die das Internet nicht nutzen oder die sich nicht als potenzielle Befragte registriert haben. Wenn einer dieser Faktoren einen systematischen Zusammenhang mit dem zu untersuchenden Merkmal zeigt (z.B. sind Internetnutzer einer bestimmten Marke positiv gesinnt), dann ist Repräsentativität der Stichprobe unwahrscheinlich.
Wenn in einem Ergebnisbericht von repräsentativen Stichproben bzw. Repräsentativität gesprochen wird, sollte neben der Stichprobenart und -größe, auch die Erhebungsmethode, das Gewichtungsverfahren, sowie die genaue Fragestellung mit Antwortkategorien angegeben werden. Somit kann sich jeder, der sich mit den Ergebnissen befasst, selbst ein Urteil bilden, ob und wie repräsentativ die Ergebnisse sind.
Sind repräsentative quantitative Studien ein Wunschdenken?
Diese Frage kann nicht generell mit ja oder nein beantwortet werden, aber drei Aspekte sind im Rahmen von Marktforschungsprojekten zwischen Auftraggeber und durchführender Agentur zu klären:
Gemeinsam die relevante Grundgesamtheit klar definieren (z.B. allgemeine Bevölkerung von 20 bis 65, oder spezifischer, all jene Personen zwischen 30 und 50 Jahren, die an einer bestimmten Produktkategorie besonderes Interesse haben und Produkte aus dieser Kategorie im letzten Jahr zumindest 1x gekauft haben). Ohne Klarheit über die Grundgesamtheit, kann keine Vorgehensweise konzipiert werden, die annähernd das Thema Repräsentativität berücksichtigt.
Gemeinsam klären, welche Rolle Repräsentativität wirklich spielt: Geht es dem Auftraggeber tatsächlich um Repräsentativität, oder um die Präzision und das Vertrauen in die Ergebnisse. Im zweiten Fall erlaubt (nur) eine Zufallsstichprobe die Bestimmung des Vertrauensintervalls, das bei größerer Stichprobe kleiner (d.h. genauer) wird.
Gemeinsam muss Klarheit erzielt werden, über welchen Kanal die Zielgruppe am besten erreicht wird (z.B. online, offline oder Kombination daraus). In gewissen Fällen ist es sinnvoll über soziale Netzwerke oder Online-Panels die Teilnehmer anzusprechen. In all diesen Fällen (und das betrifft einen Großteil der Studien in der Praxis) ist man von einer Zufallsstichprobe weit entfernt und nur durch Zufall repräsentativ (bezüglich der zu erforschenden Merkmale).
