독일 정치 텍스트의 이데올로기 예측

초록

선거는 국가의 지속적 발전에 있어 중요한 이정표를 나타낸다. 좌파에서 우파에 이르는 다양한 운동의 정치적 수사를 더 잘 이해하기 위해, 본 연구는 -1과 1 사이의 정규화된 스칼라 d로 표현되는 연속적인 좌-우 스펙트럼 상에 텍스트의 정치적 성향을 투영할 수 있는 트랜스포머 기반 모델을 제안한다. 이 접근법은 분석가들이 진보 및 극우 운동을 배제하고 보수와 같은 정치적 지형의 특정 분절에 집중할 수 있게 한다. 이러한 과제는 다중 클래스 분류기를 통해서만 달성 가능하며, 이는 원하는 성향이 사전 정의된 클래스 중 하나에 포함되어 있을 경우에 한한다. 이 과제에 가장 적합한 기초 모델을 13개의 후보 트랜스포머 중에서 결정하기 위해, 본 연구는 네 개의 개별 코퍼스를 구축했다. 첫 번째 코퍼스는 독일 연방의회의 주석이 달린 본회의 속기록으로 구성되었고, 다른 하나는 공식 온라인 의사 결정 도구인 발-오-마트(Wahl-O-Mat)에 기반하였다. 세 번째 코퍼스는 정치적 성향이 식별된 33개 신문의 기사로 구성되었으며, 네 번째는 20대와 21대 독일 연방의회 의원 597명의 535,200개 트윗을 포함했다. 과적합을 완화하기 위해, 각각 훈련용으로 두 개의 개별 코퍼스와 테스트용으로 두 개의 개별 코퍼스를 사용했다. 인-도메인 성능의 경우, DeBERTa-large가 최고 F1 점수 0.844를 기록했으며, X(트위터) 아웃-오브-도메인 테스트에서도 정확도 0.864를 달성했다. 신문 아웃-오브-도메인 테스트의 경우, Gemma2-2B가 우수한 성능을 보였다(평균 절대 오차 = 0.172). 이 연구는 트랜스포머 모델이 여론 조사 수준에서 독일 뉴스의 정치적 프레이밍을 인식할 수 있음을 보여준다. 본 연구의 결과는 모델 아키텍처와 도메인 특화 훈련 데이터의 가용성이 정치적 편향 추정에 있어 모델 크기만큼이나 영향력을 가질 수 있음을 시사한다. 본 연구는 방법론적 한계를 논의하고 편향 측정의 견고성을 개선하기 위한 방향을 제시한다.

English

Elections represent a crucial milestone in a nation's ongoing development. To better understand the political rhetoric from various movements, ranging from left to right, we propose a transformer-based model capable of projecting the political orientation of a text on a continuous left-to-right spectrum, represented by a normalized scalar d between -1 and 1. This approach enables analysts to focus on specific segments of the political landscape, such as conservatives, while excluding liberal and far-right movements. Such a task can only be achieved with multiclass classifiers, provided that the desired orientation is incorporated within one of their predefined classes. To determine the most suitable foundation model among 13 candidate transformers for this task, we constructed four distinct corpora. One corpus comprised annotated plenary notes from the German Bundestag, while another was based on an official online decision-making tool, Wahl-O-Mat. The third corpus consisted of articles from 33 newspapers, each identified by its political orientation, and the fourth included 535,200 tweets from 597 members of the 20th and 21st German Bundestag. To mitigate overfitting, we used two distinct corpora for training and two for testing, respectively. For in-domain performance, DeBERTa-large achieved the highest F1 score F1=0.844 as well as for the X (Twitter) out-of-domain test ACC=0.864. Regarding the newspaper out-of-domain test, Gemma2-2B excelled (MAE = 0.172). This study demonstrates that transformer models can recognize political framing in German news at the level of public opinion polls. Our findings suggest that both the model architecture and the availability of domain-specific training data can be as influential as model size for estimating political bias. We discuss methodological limitations and outline directions for improving the robustness of bias measurement.