Qualität in der quantitativen Marktforschung
Einige Ideen zur Qualitätssicherung
„Die Akte Marktforschung“ (Spiegel) liegt auf dem Tisch. Seit einigen Monaten häufen sich Berichte über Manipulationen im Bereich Marktforschung. Wie im letzten Blog dargestellt, fällt in diesem Zusammenhang häufig der Begriff Repräsentativität als Indikator für Qualität. Wir haben diverse Missverständnisse zum Thema „Repräsentativität“ schon diskutiert, und wollen heute spezifische Prozessschritte in der quantitativen Marktforschung aufgreifen, und jeweils Ideen zur Qualitätssicherung aufzeigen: (1) in der Konzeption, (2) in der methodischen Vorgehensweise, (3) im Fragebogen-Design, und (4) in der Auswertung, Interpretation sowie Aufbereitung der Ergebnisse.
Qualität in der Konzeption
Überraschend häufig ist die Zielsetzung einer Marktforschung den Auftraggebern selbst nicht klar. Es fällt ihnen schwer ihre Entscheidungsprobleme zu benennen und daraus den konkreten Informationsbedarf abzuleiten. Auch über die geforderte Genauigkeit und die für die Zielsetzung relevante Grundgesamtheit fehlt die konkrete Vorstellung. Gerade Klarheit über Ziele und Informationsbedarf ist aber entscheidend für alle weiteren Planungsschritte in einem Marktforschungsprojekt.
Wir erleben immer wieder, wie wichtig diese Phase ist und wie häufig bei Zeitdruck versucht wird, hier Zeit zu sparen. Auch beobachten wir häufig, dass Unternehmen sich bereits für eine bestimmte Methode entschieden haben, ohne grundlegende Themen (z.B. Zielsetzung und Entscheidungsprobleme, Informationsbedarf) zuerst zu klären. Daher ist es uns wichtig vor dem Start einer Marktforschung Klarheit über die wirkliche Problemstellung und Zielsetzungen zu haben. Die Ziele sind im Erstgespräch gemeinsam mit dem Auftraggeber zu diskutieren, zu hinterfragen und abzusegnen. Erst diese Klarheit ermöglicht die Ableitung von Forschungsfragen bis hin zur Auswahl der geeigneten Methoden und dem Design der Befragungsinstrumente.
Qualität in der methodischen Vorgehensweise
Um Qualität sicherzustellen, entscheiden wir abhängig von Forschungsfrage und Grundgesamtheit, welche Art der Datenerhebung für den spezifischen Fall sinnvoll ist. Bei quantitativen Befragungsdesigns wird zudem geklärt, wie die Zielgruppe am besten erreicht werden kann (z.B. online, schriftlich, telefonisch oder eine Kombination).
Im nächsten Schritt bestimmen wir die Sample-Größen und gemeinsam mit dem Auftraggeber wird entschieden, ob brauchbare interne Daten (z.B. Kundendatenbank oder andere interne Kontaktdaten) verfügbar sind oder ob auf externe Quellen zurückgegriffen werden muss (z.B. Kauf-Panels, Akquise über Webbanner, Facebook, MTurk, etc.). Abhängig vom Informationsbedarf und der Grundgesamtheit ist es möglicherweise notwendig das Sample einzuschränken und geeignete TeilnehmerInnen mit Hilfe von Screening-Fragen vor zu selektieren.
Ob eine anonyme Befragung zielführender ist und damit bessere Ergebnisse liefert, kann nicht pauschal beantwortet werden, sondern hängt von der Zielsetzung ab. Jedoch zwingt die DSGVO immer häufiger dazu, den Auftraggeber zu Beginn kenntlich zu machen.
Qualität im Fragebogen-Design
Ein qualitativ hochwertiger Fragebogen muss unserer Meinung nach folgende Ansprüche erfüllen:
Die Länge des Fragebogens bzw. die Art und Anzahl der Fragen muss Zielgruppe und Befragungssituation berücksichtigen (z.B. Online-Befragung auf Messe vs. schriftlicher Fragebogen zuhause). Die Fragestellungen müssen klar und verständlich formuliert sein und redundante Fragen vermieden werden. Offene Fragen sollten begrenzt eingesetzt werden. Alle im Fragebogen inkludierten Fragen sollen relevant für die Beantwortung der Forschungsfrage(n) sein.
Aus unserer Erfahrung sollte eine schriftliche Befragung (online oder Papier) nicht länger als maximal 15 Minuten dauern. Telefonische Befragungen sollten auch nicht länger sein, es sei denn der Befragte wurde vorab darüber informiert oder hat hohes Interesse an der Thematik.
Bei jedem Fragebogen denken wir intensiv über die passende Reihenfolge der Fragen nach. Die Reihenfolge, in der Fragen gestellt werden, übt einen großen Einfluss auf die Interpretation und Bewertung nachfolgender Fragen aus. Wir achten darauf, dass ein Fragebogen auch ein gewisses Maß an Abwechslung mit sich bringt, sodass TeilnehmerInnen nicht ermüden und durch zu monotone Fragestellungen und die immer gleichen Antwortmöglichkeiten (z.B. gleiche Form der Skalierung) zu automatischem Durchklicken verleitet werden.
Abhängig von Zielgruppe und Reichweite der Befragung sind Übersetzungen in unterschiedliche Sprachen notwendig. Um diese Anforderungen zu erfüllen, arbeiten wir mit Muttersprachlern und Übersetzungsinstituten, die nach dem 4-Augen-Prinzip arbeiten, zusammen.
Mobile-ready wird bei Onlinebefragungen immer wichtiger. Seit der intensiven Nutzung von Smartphone und Tablet auch bei Befragungen, erleben wir bei B2C Befragungen Nutzungszahlen von bis zu 70% für mobile Endgeräte. Bei B2B Befragungen sind es aktuell nur ungefähr 20%, Tendenz steigend. Dies bringt neue Anforderungen an die grafische Gestaltung und Art der Fragestellungen und erfordert ein Anpassen an die häufig verwendeten Benutzeroberflächen.
Qualität in der Auswertung, Interpretation und Aufbereitung der Ergebnisse
Bereits vor der Auswertung überprüfen wir die Qualität der Daten, indem wir die Antwortzeiten und das Antwortverhalten der TeilnehmerInnen beobachten. Falls eine Befragung ungewöhnlich schnell ausgefüllt wurde oder TeilnehmerInnen widersprüchliche oder inkonsistente Antworten liefern, führt das zum Ausschluss.
Während der Auswertung gilt das Prinzip der doppelten Überprüfung, d.h. mindestens zwei Personen analysieren und interpretieren die Daten.
Nach der Auswertung wird in enger Zusammenarbeit mit dem Auftraggeber entschieden, für welche interne Zielgruppe die Ergebnisse in welcher Form aufbereitet werden sollen (z.B. reine Information vs. Entscheidungsunterstützung). Nicht immer macht es Sinn, alle Ergebnisse streng nach Ablauf des Fragebogens und im vollen Umfang zu präsentieren. Wir liefern nicht nur die Daten sondern auch zentrale Aussagen damit der Blick für das Wesentliche nicht verloren geht. Basierend auf den Ergebnissen diskutieren wir gemeinsam mit dem Auftraggeber die Konsequenzen und leiten Handlungsmaßnahmen ab.
FAZIT: UNSER VERSTÄNDNIS VON QUALITÄT
Qualität geht also weit über die Sammlung und Aufbereitung von Daten hinaus. Letztendlich zeigt sich die Qualität dadurch, dass übergeordnete strategische Fragestellungen beantwortet werden können und die Ergebnisse konkrete Handlungsanleitungen liefern.
In unserer Arbeit legen wir viel Wert darauf, verschiedene Datenquellen zu verknüpfen, Gemeinsamkeiten und Unterschiede herauszufiltern, Muster zu erkennen, mit Informationen aus bereits bestehenden Untersuchungen abzugleichen und strategische Handlungsempfehlungen abzuleiten. Darin zeigt sich für uns die echte Qualität einer Marktforschung. Diese Qualität hängt auch, aber nicht nur, von der Datenqualität ab. Qualität hängt vom Know-how der involvierten Personen und der partnerschaftlichen Zusammenarbeit zwischen Marktforschungsanbieter und Auftraggeber ab.
Die genannten Bausteine sind unserer Meinung nach notwendig für qualitativ hochwertige Marktforschung. Repräsentativität spielt eine Rolle, ist aber für sich alleine weder notwendig (weil nicht überprüfbar) noch ausreichend für hohe Qualität.