Die neueste Forsa-Umfrage - richtig gelesen!

Am 8. Januar 2003 wurden von Stern und RTL Umfrageergebnisse von Forsa zur Sonntagsfrage veröffentlicht, die - richtig gelesen - so aussehen:

CDU/CSU SPD Bündnis90/Grüne FDP PDS
43,4 - 52,6 25,4 - 34,6 8,7 - 13,3 2,7 - 7,3 0,7 - 5,3

Fazit: Die Umfrageergebnisse von Stern und RTL haben keinen Informationswert. Die Union führt zwar haushoch vor der SPD, aber Rotgrün hat möglicherweise die Nase vorn, weil FDP und PDS an der 5%-Hürde scheitern können.

Auch auf der Internetseite von stern wird erstmals eine Fehlertoleranz von +/-3% eingeräumt. Allerdings nur im Kleingedruckten, in der Darstellung der Umfrageergebnisse und im Kommentar dazu wird dies unter den Teppich gekehrt. Die Fehlertoleranz rührt davon her, daß Forsa für die Umfrage 1502 Telefonnummern von Wahlberechtigten ausloste und dann eine Befragung durchführte. Wären andere Wahlberechtigte ausgelost und befragt worden, dann hätte das Umfrageresultat anders ausgesehen. Die bisherige Praxis von Stern, Umfrageresultate ohne eine Angabe über die Auswirkungen der Zufallsauswahl zu machen, war deshalb hochgradig irreführend. Das Eingeständnis, daß die tatsächlichen Parteistärken um bis zu plus oder minus 3% vom Umfrageergebnis abweichen können, hat zur Folge, daß das Umfrage-Ergebnisse im Stern in der folgenden Form

CDU/CSU SPD Bündnis90/Grüne FDP PDS
44 - 50 28 - 34 8 - 14 2 - 8 0 - 6

hätte veröffentlicht werden müssen. Das ist natürlich nicht geschehen, denn damit wird die Umfrage zur Lachnummer: Die Union führt zwar haushoch vor der SPD, aber Rotgrün hat möglicherweise die Nase vorn, weil FDP und PDS an der 5%-Hürde scheitern können.


Technische Information:

Die in der gelben Tabelle angegeben Fehler, die durch die Zufallsauswahl der befragten Wahlberechtigten verursacht werden, kann man auch als Laie mit Hilfe der Mißerfolgs-Statistik von Umfragen verifizieren. Man gibt in der Input-Spalte (linke Seite der Tabelle) die von Forsa angeführten Parteistärken (CDU/CSU 47, SPD 31, FDP 5, Grüne 11 und PDS 3 Prozent) ein. Im Block oben rechts gibt man als "Anzahl der Wahlberechtigten pro Umfrage" 1502 an - soviele Wahlberechitgte wurden laut Stern von Forse zwischen dem 30. Dezember und 3. Januar befragt - und setzt für die Wahlbeteiligung die üblichen 80% ein. Für die Anzahl der Umfragen wähle man zunächst 1000 - bei größeren Zahlen kann die Berechnung sehr lange dauern. Mit "LOS" wird die Simulation gestartet. In der unteren Tabellenzeile "Mißerfolgsstatistik" kann man das Resultat der Simulation detailliert ablesen. Es zeigt sich, daß etwa 97% der Umfragen die Toleranzen von +/- 4% für die großen und +/- 2% für die kleinen Parteien einhalten.
Genauere Ergebnisse kann man der Tabelle unten auf dieser Seite entnehmen: Es zeigt sich, daß etwa 95% der Umfragen die Toleranzen von +/- 3,6% bzw. +/- 1,8% einhalten. Aber 5% der Umfragen schaffen nicht einmal das. Mit anderen Worten: In jeder 20. Umfrage ist der Fehler für eine große Partei größer als +/- 3,6% oder für eine kleine Partei größer als +/- 1,8%!

Scherzfrage: Wie viele von 100 Umfragen schaffen es, die von Forsa vermarkteten Parteistärken (CDU/CSU 47, SPD 31, FDP 5, Grüne 11 und PDS 3 Prozent) zu treffen?

Scherzfrage: Wie viele von 10000 Umfragen schaffen es, die von Forsa vermarkteten Parteistärken (CDU/CSU 47, SPD 31, FDP 5, Grüne 11 und PDS 3 Prozent) zu treffen?

Maximale Abweichung
eingehalten von
für große Parteien für kleine Parteien (in Prozent von 100000 Umfragen)
1,0% 0,5% 9,5%
1,2% 0,6% 16%
1,4% 0,7% 25%
1,6% 0,8% 34%
1,8% 0,9% 44%
2,0% 1,0% 54%
2,2% 1,1% 62%
2,4% 1,2% 70%
2,6% 1,3% 76%
2,8% 1,4% 82%
3,0% 1,5% 86%
3,2% 1,6% 89%
3,4% 1,7% 92%
3,6% 1,8% 94,2%
3,8% 1,9% 95,8%
4,0% 2,0% 97%
4,2% 2,1% 98%
4,4% 2,2% 98,4%
4,6% 2,3% 98,9%
4,8% 2,4% 99,2%
>5,0% >2,5% 0,8%
Grundlage der Simulation: 100000 Wiederholungen, Parteistärken laut Forsa, ebenso Stichprobenumfang (1502) und Wahlbeteiligung (80%).