„Viele meint nicht repräsentativ“ – eine methodische Nörgelei zur EU-„Umfrage“

Gehören Sie auch zu den Menschen, die die Zeitumstellung am liebsten abschaffen würden? Dann gehören Sie zu der „überwältigenden Mehrheit“ der EU-Bürger, die sich laut den Ergebnissen der breit in den Medien diskutierten großen „EU-Umfrage“ ebenfalls dagegen aussprachen. Ergebnisse auf Basis von 4,6 Millionen Befragten, die übrigens auch seitens der EU gar keine repräsentative Umfrage darstellt, sondern lediglich eine „öffentlichen Konsultation“, und zu der keineswegs nur Bürger, sondern ebenso Unternehmen und Institutionen zur Teilnahme eingeladen wurden. (vgl. „Public Consultation on summertime arrangements„).

Sei’s drum – die Medien machten eine Studie der Superlative daraus: So titelte z.B. das ZDF „Rekordbeteiligung bei EU-Umfrage – 4,6 Millionen stimmen über Zeitumstellung ab“ am 17. August 2018.
Das medial breit diskutierte Ergebnis:
Die überwältigende Mehrheit spricht sich nicht nur für die Abschaffung der halbjährlichen Zeitumstellung aus, sondern zugleich auch für die dauerhafte Beibehaltung der Sommerzeit. Der EU-Bürger ist offenbar auf Dauersommer eingestellt. Kein Wunder, beim schwungvollen Wechsel des Jahrtausendsommers in den kalten Herbst. Alle wollen die Sommerzeit – und den Sommer – zurück!
Und die Politik? Die hat endlich eine bürgernahe Entscheidungsgrundlage:

„Die Menschen wollen das, wir machen das“,

so allen voran EU-Kommissionspräsident Jean-Claude Juncker im ZDF.
Ein vermeintlich rauschender Sieg der Basisdemokratie in der oft als bürgerfern verschrienen EU und ein grandioser Beleg für den Einsatz von Marktforschung, oder?

Mitnichten.
Wir haben uns lange nicht mehr mit einer Fake-Statistik des Monats gemeldet – die EU-„Umfrage“ zur Zeitumstellung ist ein Glanzstück zum Thema „Viele meint nicht repräsentativ“. Und als ich den wunderbaren Artikel Von verdrehten Uhrzeiten und falsch verstandener Demoskopie von Prof. Horst Müller-Peters auf Marktforschung.de las, war klar, dass die Studie es auf den Thron der hier präsentierten Beispiele für unsere beliebte Rubrik Fake-Statistik des Monats schaffen würde, in der wir regelmäßig medienwirksamen Aussagen auf den Grund gehen, wie in der Fake-Statistik des Monats: „Alle 11 Minuten…“ oder „Facebook vergreißt„.

In seinem Blog-Beitrag schreibt Prof. Müller-Peters, Herausgeber des Marktforschungsportals Marktforschung.de, eine herrliche „methodische Nörgelei“ zur breiten gesellschaftlichen Rezeption der „Umfrage“ und kommt auch auf die gesellschaftliche Rolle und Verantwortung von Marktforschungsdienstleistern zu sprechen.
Dabei macht er auf folgende drei Aspekte aufmerksam: Erstens, die Wichtigkeit sauberer methodischer Arbeit und ihrer richtigen Interpretation. Zweitens, die Leichtfertigkeit, mit der Medien Studienergebnisse aufgreifen, sobald Thema und Teilnehmerzahl „passen“ und drittens, das Rosinenpicken der Politik, wenn es um die argumentativ „richtigeren“ Ergebnisse geht.

Nicht alle Studien müssen repräsentativ sein – ist dann aber nicht „Die wollen das (alle)“

Marktforscher stehen in der Verantwortung, klar auf die Schwächen einer gewählten Methodik einzugehen und nicht zu schweigen, wenn Ergebnisse als repräsentativ interpretiert werden, die mitnichten repräsentativ sind. Marktforschung hat die zu Recht immer wieder angemahnte Rolle, saubere methodische Arbeit zu leisten, insbesondere wenn tatsächlich Entscheidungsgrundlagen geschaffen werden sollen.
Doch was tun, wenn die Medien trotz klarer Ansagen, dass Ergebnisse mit Vorsicht zu geniessen sind, die Schlagzeilen so konzipieren, dass die methodischen Einschränkungen eher im Kleingedruckten positioniert werden?

Denn die besagten Ergebnisse waren mitnichten repräsentativ und dies wird auch im Ergebnisbericht deutlich hervorgehoben: Die 4,6 Mio. Teilnehmer waren selbstrekrutiert, haben mehr oder weniger zufällig über die Medien darüber erfahren und konnten sich dann aktiv – und sogar mehrfach – an der Umfrage beteiligen. Im EU-Bericht ist daher auch von dieser methodischen Einschränkung zu lesen: „In contrast to surveys, public consultations are not statistically representative. Web-based public consultations also have a self-selection bias of the respondents towards the views of those who choose to respond to the consultation against those who do not. These elements need to be kept in mind when interpreting the results.“

Ergebnis war trotz der nie zuvor erreichten Responserate eben auch eine dramatisch verzerrte Population. So nahmen etwa fast vier Prozent der Deutschen, aber nur 0,04 Prozent der Italiener und Rumänen teil. Im Ergebnis kamen letztlich zwei von drei Stimmen aus Deutschland – bei 16 Prozent Einwohneranteil in Europa.

Das kann man so machen, ist dann aber nicht „Die wollen das (alle)“.

Zur Rolle sauberer methodischer Arbeit gehört seitens des Herausgebers, aber auch seitens der Medien, die Ergebnisse richtig zu interpretieren. Dazu gehört es zum Beispiel, die Ergebnisse der unterrepräsentierten Länder entsprechend zu berücksichtigen, bevor man darauf schließt, dass vermeintlich alle EU-Bürger sich hinsichtlich einer Fragestellung einig sind.

So schwankte die Zustimmungsquote zur Abschaffung der Zeitumstellung je nach Land zwischen 44 und 95 Prozent. Malta hat mehrheitlich zum Beispiel kein Problem mit der Zeitumstellung.
In Deutschland sieht das Bild ganz anders aus: Die Deutschen wollen die Zeitumstellung nicht.
Und auch die ZDF-eigene Abstimmung unter dem Artikel zeigt eine überwältigende Zustimmung zur Abschaffung der Zeitumstellung von 90 Prozent:

 

Können 14.160 Teilnehmer dieser redaktionellen Umfrage irren? Oder:

Können 4,6 Millionen EU-Bürger irren?

Man könnte sich, wie auch Prof. Müller-Peters, durchaus Fragen stellen wie: „Teilen die – weitaus unterrepräsentierten – Bürger weiter westlich gelegenen Staaten überhaupt die deutsch dominierte Abstimmungspräferenz oder wollen sie keine Sommerzeit, weil die Abende dort sowieso schon länger sind?
Sehen die Bewohner Schwedens und Siziliens den Nutzen einer Zeitumstellung angesichts ganz anderer Lichtverhältnisse völlig anders?“

Genauere Daten zur Bevorzugung der dauerhaften Sommer- gegenüber Winterzeit werden hier veröffentlicht. Und es wird deutlich, dass zwischen den Ländern doch eine sehr hohe Diskrepanz der Ergebnisse liegt. Das interessiert aber scheinbar niemanden.

Titel der Superlative machen die Leichtfertigkeit deutlich, mit der Medien empirische Ergebnisse aufgreifen, wenn sie nur die richtige Teilnehmerzahl haben und das richtige Thema adressieren. Das geht offenbar schnell unter, wenn zum Beispiel das ZDF schließt, „die Mehrheit in einer EU-Umfrage wünscht sich die Sommerzeit dauerhaft.“ Hier können sich sowohl Medien als auch Politiker an die eigene Nase fassen.

Rosinenpicken – ich mach‘ mir die Welt, widdewidde wie sie mir gefällt.

Als Medienforscherin kenne ich das Problem, dass Forschung letztlich nur Ergebnisse rechtfertigen sollte, die man „gut gebrauchen kann“ – wobei ich klar sagen muss, dass es in der Regel kein Problem ist, eine Wirkung von Werbung nachzuweisen. Die Frage ist nur, wie gut. Und die Antwort wird je nach Ergebnis ausschweifender dargestellt oder eher in die Fußnote verbannt. Das ist ein legitimes Vorgehen in der marketingorientierten Werbewirkungsforschung.
Anders ist aber m.E. die Gefahr eines derartigen Rosinenpickens durch die Politik einzuschätzen, also der Suche nach „passenden“ empirischen Ergebnissen, um gewünschte Maßnahmen zu rechtfertigen. Und diese Rosinen liegen gerade bei einem medienwirksamen Thema wie dem der Zeitumstellung förmlich auf dem Silbertablett.

„Würde ein Bürgervotum zur Migrationspolitik oder zur Bezahlung von EU-Mitarbeitern wohl ebenso unkritisch aufgenommen und zügig in Maßnahmen umgesetzt wie das zur Zeitumstellungs-Frage?“, fragt Müller-Peters.

Er fasst zusammen: „Zumindest zu den erstgenannten Punkten ist sicherlich auch die professionelle Umfrageforschung in der Pflicht, nicht nur sorgfältig zu arbeiten und zu kommunizieren, sondern auch zur Aufklärung beizutragen.
Angesichts der zunehmenden Vielfalt und Oberflächlichkeit der Medien ein außerordentlich dickes Brett.“

Dem ist meiner Meinung nach nichts hinzuzufügen.

Mafo-Basics zum Thema Repräsentativität

PS: Interessierten mit Lust und Muße, sich mit dem Thema Repräsentativität und Signifikanzen von Ergebnissen etwas tiefer zu befassen, denen sei das sehr schöne Themen-Special Repräsentativ, signifikant, bedeutsam? von Marktforschung.de ans Herz gelegt.
Ein sehr guter Überblick für alle, die regelmäßig erläutern müssen, dass Stichprobengröße und Repräsentativität allenfalls marginal miteinander zu tun haben.
Und ein Tipp für Herausgeber von Entscheider- bzw. B2B-Studien im unteren dreistelligen Fallzahlbereich, die in Ergebnispräsentationen regelmäßig gegen die magische Glaubwürdigkeitsschwelle der „1.000 Befragten“ andiskutieren müssen (vgl. COMA[E] Studie der Content Marketing Entscheider).

Haben Sie eine Fake-Statistik für uns?

Sind Ihnen in letzter Zeit Studien-Publikationen oder Überschriften aufgefallen, in denen auf beachtenswerte Weise mit Zahlen jongliert wurde? Dann her damit! Wir interpretieren sie neu.

Beispiele bitte an: Fake-Statistik@mediaresearch42.de

Ich bin gespannt!

Herzliche Grüße und bleiben Sie neugierig,

Sandra Gärtner