Réduire la manipulation politique grâce à l’entraînement à la cohérence

Résumé

Les grands modèles de langage (LLMs) présentent un biais politique systématique dans divers contextes sensibles. Nous constatons que les LLMs traitent de manière asymétrique des sujets opposés issus de camps politiques antagonistes. Nous qualifions ce phénomène de biais politique latent et identifions 7 catégories de techniques par lesquelles il opère. Nous proposons deux métriques pour mesurer ce biais latent : la Cohérence des Sentiments, qui évalue la symétrie dans la rhétorique et le cadrage entre des prompts politiques appariés, et la Cohérence de l'Utilité, qui mesure la symétrie dans la profondeur et l'engagement. Pour réduire ces deux types de biais latent, nous introduisons l'Entraînement à la Cohérence Politique (ECP), une méthode d'apprentissage par renforcement comportant deux paradigmes complémentaires : l'Entraînement à la Cohérence des Sentiments et l'Entraînement à la Cohérence de l'Utilité. Nous montrons que l'ECP préserve l'utilité globale, réduit substantiellement le biais politique latent et se généralise à des benchmarks non vus. Nous publions nos travaux à l'adresse https://political-manipulation.ai.

English

Large language models (LLMs) exhibit systematic political bias across a variety of sensitive contexts. We find that LLMs handle counterpart topics from opposing political sides asymmetrically. We refer to this phenomenon as covert political bias and identify 7 categories of techniques through which it operates. We propose two metrics for covert bias: Sentiment Consistency measures symmetry in rhetoric and framing across paired political prompts; Helpfulness Consistency measures symmetric depth and engagement. To reduce both types of covert bias, we introduce Political Consistency Training (PCT), an RL training method with two complementary paradigms: Sentiment Consistency Training and Helpfulness Consistency Training. We show that PCT preserves overall helpfulness, substantially reduces covert political bias, and generalizes to held-out benchmarks. We release our work at https://political-manipulation.ai