Reduzierung politischer Manipulation durch Konsistenztraining

Zusammenfassung

Große Sprachmodelle (Large Language Models, LLMs) weisen in einer Vielzahl sensibler Kontexte systematische politische Voreingenommenheit auf. Wir stellen fest, dass LLMs korrespondierende Themen von gegensätzlichen politischen Seiten asymmetrisch behandeln. Wir bezeichnen dieses Phänomen als verdeckte politische Voreingenommenheit und identifizieren 7 Kategorien von Techniken, durch die diese wirkt. Wir schlagen zwei Metriken für verdeckte Voreingenommenheit vor: Sentiment-Konsistenz misst die Symmetrie in Rhetorik und Rahmung über gepaarte politische Aufforderungen hinweg; Hilfsbereitschaftskonsistenz (Helpfulness Consistency) misst die symmetrische Tiefe und das Engagement. Um beide Arten verdeckter Voreingenommenheit zu reduzieren, führen wir das Political Consistency Training (PCT) ein, eine RL-Trainingsmethode mit zwei komplementären Paradigmen: Sentiment-Konsistenz-Training und Hilfsbereitschaftskonsistenz-Training. Wir zeigen, dass PCT die allgemeine Hilfsbereitschaft bewahrt, die verdeckte politische Voreingenommenheit erheblich reduziert und auf zurückgehaltene Benchmarks verallgemeinert. Wir veröffentlichen unsere Arbeit unter https://political-manipulation.ai.

English

Large language models (LLMs) exhibit systematic political bias across a variety of sensitive contexts. We find that LLMs handle counterpart topics from opposing political sides asymmetrically. We refer to this phenomenon as covert political bias and identify 7 categories of techniques through which it operates. We propose two metrics for covert bias: Sentiment Consistency measures symmetry in rhetoric and framing across paired political prompts; Helpfulness Consistency measures symmetric depth and engagement. To reduce both types of covert bias, we introduce Political Consistency Training (PCT), an RL training method with two complementary paradigms: Sentiment Consistency Training and Helpfulness Consistency Training. We show that PCT preserves overall helpfulness, substantially reduces covert political bias, and generalizes to held-out benchmarks. We release our work at https://political-manipulation.ai