Ideologievoorspelling van Duitse politieke teksten

Samenvatting

Verkiezingen vormen een cruciale mijlpaal in de voortdurende ontwikkeling van een natie. Om de politieke retoriek van verschillende stromingen, van links tot rechts, beter te begrijpen, stellen we een transformer-gebaseerd model voor dat de politieke oriëntatie van een tekst kan projecteren op een continu links-rechtsspectrum, weergegeven door een genormaliseerde scalaire d tussen -1 en 1. Deze aanpak stelt analisten in staat zich te concentreren op specifieke segmenten van het politieke landschap, zoals conservatieven, terwijl liberale en extreemrechtse bewegingen worden uitgesloten. Een dergelijke taak kan alleen worden uitgevoerd met multi-klasse classifiers, op voorwaarde dat de gewenste oriëntatie binnen een van hun vooraf gedefinieerde klassen valt. Om het meest geschikte funderingsmodel te bepalen uit 13 kandidaat-transformers voor deze taak, hebben we vier verschillende corpora samengesteld. Eén corpus bestond uit geannoteerde plenaire notulen van de Duitse Bondsdag, terwijl een ander gebaseerd was op een officieel online besluitvormingsinstrument, Wahl-O-Mat. Het derde corpus bestond uit artikelen uit 33 kranten, elk geïdentificeerd op basis van hun politieke oriëntatie, en het vierde omvatte 535.200 tweets van 597 leden van de 20e en 21e Duitse Bondsdag. Om overfitting te beperken, gebruikten we twee verschillende corpora voor training en twee voor testen. Voor prestaties binnen het domein behaalde DeBERTa-large de hoogste F1-score (F1=0,844), evenals voor de X (Twitter) out-of-domain test (ACC=0,864). Wat betreft de kranten out-of-domain test, presteerde Gemma2-2B uitstekend (MAE = 0,172). Deze studie toont aan dat transformermodellen politieke framing in Duits nieuws kunnen herkennen op het niveau van opiniepeilingen. Onze bevindingen suggereren dat zowel de modelarchitectuur als de beschikbaarheid van domeinspecifieke trainingsgegevens even invloedrijk kunnen zijn als modelgrootte voor het schatten van politieke bias. We bespreken methodologische beperkingen en schetsen richtingen voor het verbeteren van de robuustheid van biasmeting.

English

Elections represent a crucial milestone in a nation's ongoing development. To better understand the political rhetoric from various movements, ranging from left to right, we propose a transformer-based model capable of projecting the political orientation of a text on a continuous left-to-right spectrum, represented by a normalized scalar d between -1 and 1. This approach enables analysts to focus on specific segments of the political landscape, such as conservatives, while excluding liberal and far-right movements. Such a task can only be achieved with multiclass classifiers, provided that the desired orientation is incorporated within one of their predefined classes. To determine the most suitable foundation model among 13 candidate transformers for this task, we constructed four distinct corpora. One corpus comprised annotated plenary notes from the German Bundestag, while another was based on an official online decision-making tool, Wahl-O-Mat. The third corpus consisted of articles from 33 newspapers, each identified by its political orientation, and the fourth included 535,200 tweets from 597 members of the 20th and 21st German Bundestag. To mitigate overfitting, we used two distinct corpora for training and two for testing, respectively. For in-domain performance, DeBERTa-large achieved the highest F1 score F1=0.844 as well as for the X (Twitter) out-of-domain test ACC=0.864. Regarding the newspaper out-of-domain test, Gemma2-2B excelled (MAE = 0.172). This study demonstrates that transformer models can recognize political framing in German news at the level of public opinion polls. Our findings suggest that both the model architecture and the availability of domain-specific training data can be as influential as model size for estimating political bias. We discuss methodological limitations and outline directions for improving the robustness of bias measurement.