Ideologievorhersage deutscher politischer Texte

Zusammenfassung

Wahlen stellen einen entscheidenden Meilenstein in der fortlaufenden Entwicklung einer Nation dar. Um die politische Rhetorik verschiedener Strömungen – von links bis rechts – besser zu verstehen, schlagen wir ein Transformer-basiertes Modell vor, das die politische Ausrichtung eines Textes auf einem kontinuierlichen Links-Rechts-Spektrum projizieren kann, dargestellt durch einen normalisierten Skalar d zwischen -1 und 1. Dieser Ansatz ermöglicht es Analysten, sich auf bestimmte Segmente der politischen Landschaft zu konzentrieren, etwa auf Konservative, während liberale und rechtsextreme Bewegungen ausgeschlossen werden. Eine solche Aufgabe ist nur mit Multiklassen-Klassifikatoren zu bewältigen, sofern die gewünschte Ausrichtung in einer ihrer vordefinierten Klassen enthalten ist. Um das am besten geeignete Basismodell unter 13 Kandidaten-Transformern für diese Aufgabe zu ermitteln, erstellten wir vier verschiedene Korpora. Ein Korpus bestand aus annotierten Plenarprotokollen des Deutschen Bundestages, ein weiteres basierte auf dem offiziellen Online-Entscheidungstool Wahl-O-Mat. Das dritte Korpus umfasste Artikel aus 33 Zeitungen, die jeweils nach ihrer politischen Ausrichtung identifiziert wurden, und das vierte enthielt 535.200 Tweets von 597 Abgeordneten des 20. und 21. Deutschen Bundestages. Zur Vermeidung von Überanpassung verwendeten wir zwei verschiedene Korpora für das Training bzw. zwei für das Testen. Für die leistungsbezogene Domäne erzielte DeBERTa-large den höchsten F1-Wert (F1=0,844) sowie für den domänenfremden Test auf X (Twitter) eine ACC von 0,864. Hinsichtlich des domänenfremden Tests mit Zeitungen übertraf Gemma2-2B (MAE = 0,172). Diese Studie zeigt, dass Transformer-Modelle politische Framing in deutschen Nachrichten auf dem Niveau von Meinungsumfragen erkennen können. Unsere Ergebnisse deuten darauf hin, dass sowohl die Modellarchitektur als auch die Verfügbarkeit domänenspezifischer Trainingsdaten ebenso einflussreich sein können wie die Modellgröße für die Schätzung des politischen Bias. Wir diskutieren methodische Einschränkungen und skizzieren Richtungen zur Verbesserung der Robustheit von Bias-Messungen.

English

Elections represent a crucial milestone in a nation's ongoing development. To better understand the political rhetoric from various movements, ranging from left to right, we propose a transformer-based model capable of projecting the political orientation of a text on a continuous left-to-right spectrum, represented by a normalized scalar d between -1 and 1. This approach enables analysts to focus on specific segments of the political landscape, such as conservatives, while excluding liberal and far-right movements. Such a task can only be achieved with multiclass classifiers, provided that the desired orientation is incorporated within one of their predefined classes. To determine the most suitable foundation model among 13 candidate transformers for this task, we constructed four distinct corpora. One corpus comprised annotated plenary notes from the German Bundestag, while another was based on an official online decision-making tool, Wahl-O-Mat. The third corpus consisted of articles from 33 newspapers, each identified by its political orientation, and the fourth included 535,200 tweets from 597 members of the 20th and 21st German Bundestag. To mitigate overfitting, we used two distinct corpora for training and two for testing, respectively. For in-domain performance, DeBERTa-large achieved the highest F1 score F1=0.844 as well as for the X (Twitter) out-of-domain test ACC=0.864. Regarding the newspaper out-of-domain test, Gemma2-2B excelled (MAE = 0.172). This study demonstrates that transformer models can recognize political framing in German news at the level of public opinion polls. Our findings suggest that both the model architecture and the availability of domain-specific training data can be as influential as model size for estimating political bias. We discuss methodological limitations and outline directions for improving the robustness of bias measurement.