Prédiction de l’idéologie des textes politiques allemands

Résumé

Les élections représentent une étape cruciale dans le développement continu d'une nation. Afin de mieux comprendre la rhétorique politique des différents mouvements, allant de la gauche à la droite, nous proposons un modèle basé sur les transformers capable de projeter l'orientation politique d'un texte sur un spectre continu gauche-droite, représenté par un scalaire normalisé d compris entre -1 et 1. Cette approche permet aux analystes de se concentrer sur des segments spécifiques du paysage politique, comme les conservateurs, tout en excluant les mouvements libéraux et d'extrême droite. Une telle tâche ne peut être réalisée qu'avec des classifieurs multiclasses, à condition que l'orientation souhaitée soit intégrée dans l'une de leurs classes prédéfinies. Pour déterminer le modèle de base le plus adapté parmi 13 transformers candidats pour cette tâche, nous avons construit quatre corpus distincts. Un corpus comprenait des notes de séance annotées du Bundestag allemand, tandis qu'un autre était basé sur un outil officiel d'aide à la décision en ligne, Wahl-O-Mat. Le troisième corpus était constitué d'articles provenant de 33 journaux, chacun identifié par son orientation politique, et le quatrième comprenait 535 200 tweets de 597 membres des 20ᵉ et 21ᵉ législatures du Bundestag allemand. Pour atténuer le surapprentissage, nous avons utilisé deux corpus distincts pour l'entraînement et deux autres pour les tests respectifs. Pour la performance intra-domaine, DeBERTa-large a obtenu le score F1 le plus élevé (F1=0,844), ainsi que pour le test extra-domaine sur X (Twitter) (ACC=0,864). Concernant le test extra-domaine sur les journaux, Gemma2-2B a excellé (MAE=0,172). Cette étude démontre que les modèles de type transformer peuvent reconnaître le cadrage politique dans les actualités allemandes à un niveau comparable aux sondages d'opinion publique. Nos résultats suggèrent que tant l'architecture du modèle que la disponibilité de données d'entraînement spécifiques au domaine peuvent être aussi influentes que la taille du modèle pour estimer le biais politique. Nous discutons des limitations méthodologiques et esquissons des pistes pour améliorer la robustesse de la mesure du biais.

English

Elections represent a crucial milestone in a nation's ongoing development. To better understand the political rhetoric from various movements, ranging from left to right, we propose a transformer-based model capable of projecting the political orientation of a text on a continuous left-to-right spectrum, represented by a normalized scalar d between -1 and 1. This approach enables analysts to focus on specific segments of the political landscape, such as conservatives, while excluding liberal and far-right movements. Such a task can only be achieved with multiclass classifiers, provided that the desired orientation is incorporated within one of their predefined classes. To determine the most suitable foundation model among 13 candidate transformers for this task, we constructed four distinct corpora. One corpus comprised annotated plenary notes from the German Bundestag, while another was based on an official online decision-making tool, Wahl-O-Mat. The third corpus consisted of articles from 33 newspapers, each identified by its political orientation, and the fourth included 535,200 tweets from 597 members of the 20th and 21st German Bundestag. To mitigate overfitting, we used two distinct corpora for training and two for testing, respectively. For in-domain performance, DeBERTa-large achieved the highest F1 score F1=0.844 as well as for the X (Twitter) out-of-domain test ACC=0.864. Regarding the newspaper out-of-domain test, Gemma2-2B excelled (MAE = 0.172). This study demonstrates that transformer models can recognize political framing in German news at the level of public opinion polls. Our findings suggest that both the model architecture and the availability of domain-specific training data can be as influential as model size for estimating political bias. We discuss methodological limitations and outline directions for improving the robustness of bias measurement.