Wer sagt, dass er gewählt hat?

Machine Learning auf den Daten der European Election Study 2024 — und die Frage, was ein Modell für Wahlbeteiligung eigentlich misst.

Ein Klassifikationsmodell auf 25’644 Befragten aus 27 EU-Staaten — und die Frage, was es eigentlich misst: die Wahlbeteiligung oder die Bereitschaft, sie zu behaupten. Entstanden als Abschlussprojekt des GSERM-Kurses «Machine Learning with R» an der Universität St. Gallen.

R tidymodels LASSO Random Forest Neural Network EES 2024

Die Lücke

In der Befragung geben 75.4 % an, an der Europawahl 2024 teilgenommen zu haben. Offiziell lag die Beteiligung EU-weit bei 50.74 %. Diese Differenz ist keine Messungenauigkeit, sondern ein bekanntes Muster: Wählen gilt als sozial erwünscht, also wird es überberichtet. Interessant ist, wie ungleich das ausfällt.

turnout_gap.svg sortiert nach Differenz

Wo Wahlpflicht gilt, verschwindet die Lücke fast — Belgien liegt 2.1 Punkte über dem amtlichen Ergebnis. Wo die tatsächliche Beteiligung tief ist, öffnet sie sich am weitesten: in Portugal um 45.6, in Polen um 39.8 Punkte. Offizielle Werte: Europäisches Parlament (Verian), Endergebnis Europawahl 2024.

Damit steht fest, was das Modell überhaupt lernen kann: berichtete Teilnahme. Diese Unterscheidung zieht sich durch die ganze Arbeit — sie ist keine Fussnote, sondern die zentrale Einschränkung.

Drei Modelle

Ein regularisiertes lineares Modell, ein Baum-Ensemble und ein kleines neuronales Netz — auf demselben Rezept, derselben 80/20-Teilung, derselben Kreuzvalidierung. Bewertet wird primär über die AUC, weil sie unabhängig von der Klassifikationsschwelle ist und die Klassen mit 75 zu 25 deutlich ungleich verteilt sind.

Der Schritt vom linearen Modell zum Ensemble bringt 0.0094 AUC. Der DeLong-Test nennt das signifikant (p = 0.0074) — bei 5’129 Testfällen ist fast alles signifikant. Substanziell ist es nicht.

Trennschärfe ist nicht Verlässlichkeit

Links: wie gut die Modelle Wähler von Nichtwählern trennen. Rechts: ob man den ausgegebenen Wahrscheinlichkeiten glauben darf. Die beiden Fragen fallen auseinander.

roc_curves.svg Testset
calibration.svg 10 Bins

Die ROC-Kurven liegen nahezu übereinander. Die Kalibrierung nicht: Das neuronale Netz belegt nur die mittleren Wahrscheinlichkeitsbereiche und liegt dort systematisch daneben. Im Bin 0.6 bis 0.7 sagt es 66 % voraus — tatsächlich haben 82 % gewählt. Sein Brier-Score fällt entsprechend ab. Wer die Wahrscheinlichkeiten selbst braucht und nicht nur eine Rangfolge, nimmt LASSO oder den Random Forest.

Die Schwelle entscheidet

Drei Viertel der Befragten geben an, gewählt zu haben. Ein Modell, das bei 0.5 trennt, sagt deshalb fast allen «hat gewählt» — und liegt damit oft richtig, ohne etwas zu leisten. Der Regler zeigt, ab wann die Minderheit sichtbar wird.

threshold_explorer interaktiv

Woran das Modell sich hält

Permutation Importance des Random Forest: wie stark die Trefferquote einbricht, wenn man einen Prädiktor zufällig durchmischt.

importance.svg Random Forest, Out-of-Bag

Aufmerksamkeit für den Wahlkampf und politisches Interesse dominieren, das Alter folgt. Bemerkenswert sind die Indikatoren für fehlende Antworten: Ob jemand die Links-Rechts-Frage überhaupt beantwortet, trägt mehr Information als die Antwort selbst. Eine Verweigerung ist eben kein zufälliges Loch in den Daten, sondern selbst ein Signal — genau dafür setzt das Rezept diese Indikatoren, bevor es fehlende Werte auffüllt.

Das Modell selbst ausprobieren

Wichtig: Das Modell sagt voraus, ob jemand angibt, gewählt zu haben — nicht, ob jemand gewählt hat. Der Unterschied beträgt EU-weit rund 25 Prozentpunkte und ist nicht zufällig verteilt.

lasso_live rechnet im Browser
—

Wahrscheinlichkeit, dass diese Person
angibt, gewählt zu haben

LASSO ist ein lineares Modell, also ist der Logit additiv in den Eingangsgrössen. Die Rechnung im Browser ist deshalb dasselbe Modell wie im Bericht und keine vereinfachte Nachbildung — geprüft gegen die R-Vorhersage bis auf 1·10⁻¹⁵. Alle übrigen Merkmale stehen auf dem Median beziehungsweise dem häufigsten Wert der Trainingsdaten.

Methodik

Daten, Aufbereitung und Modellierung im Detail
  • Daten — European Election Study 2024, 27 EU-Staaten, 25’904 Befragte; nach Ausschluss fehlender Zielwerte 25’644.
  • Zielgrösse — q5, die Angabe zur Teilnahme an der Europawahl, binär codiert.
  • Prädiktoren — 37 Variablen aus fünf Blöcken: Soziodemografie, Ideologie, Engagement und Vertrauen, Parteibindung, Wirtschaftswahrnehmung.
  • Fehlende Werte — Die Codes 96 bis 99 («trifft nicht zu», «verweigert», «weiss nicht», «fehlend») werden zu NA. Vor dem Auffüllen setzt das Rezept je Prädiktor einen Indikator, damit eine Verweigerung als Signal erhalten bleibt.
  • Rezept — Indikatoren für fehlende Werte, Median- und Modus-Imputation, Dummy-Codierung, Filter für Variablen mit fast keiner Streuung, Normalisierung. Identisch für alle drei Modelle.
  • Aufteilung — 80/20 stratifiziert nach der Zielgrösse (Training 20’515, Test 5’129), Hyperparameter über zehnfache Kreuzvalidierung.
  • Bewertung — AUC als schwellenunabhängiges Hauptmass, Brier-Score für die Kalibrierung, Youden-J für die Schwellenwahl.

Der vollständige Bericht ist auf Anfrage erhältlich.

↓  Bericht anfordern