Évaluation comparative des LLM pour les sciences politiques : une perspective des Nations Unies

Benchmarking LLMs for Political Science: A United Nations Perspective

February 19, 2025

Auteurs: Yueqing Liang, Liangwei Yang, Chen Wang, Congying Xia, Rui Meng, Xiongxiao Xu, Haoran Wang, Ali Payani, Kai Shu

cs.AI

Résumé

Les modèles de langage de grande envergure (LLMs) ont réalisé des avancées significatives dans le traitement du langage naturel, mais leur potentiel pour la prise de décision politique à enjeux élevés reste largement inexploré. Cet article aborde cette lacune en se concentrant sur l'application des LLMs au processus décisionnel des Nations Unies (ONU), où les enjeux sont particulièrement importants et où les décisions politiques peuvent avoir des conséquences de grande portée. Nous introduisons un nouvel ensemble de données comprenant des archives publiques du Conseil de sécurité des Nations Unies (CSNU) de 1994 à 2024, incluant des projets de résolution, des registres de vote et des discours diplomatiques. En utilisant cet ensemble de données, nous proposons le Benchmark des Nations Unies (UNBench), le premier benchmark complet conçu pour évaluer les LLMs à travers quatre tâches interconnectées en sciences politiques : jugement des co-rédacteurs, simulation de vote des représentants, prédiction d'adoption de projets et génération de déclarations représentatives. Ces tâches couvrent les trois étapes du processus décisionnel de l'ONU—rédaction, vote et discussion—et visent à évaluer la capacité des LLMs à comprendre et à simuler les dynamiques politiques. Notre analyse expérimentale démontre le potentiel et les défis de l'application des LLMs dans ce domaine, offrant des perspectives sur leurs forces et leurs limites en sciences politiques. Ce travail contribue à l'intersection croissante de l'intelligence artificielle et des sciences politiques, ouvrant de nouvelles voies pour la recherche et les applications pratiques dans la gouvernance mondiale. Le dépôt UNBench est accessible à l'adresse suivante : https://github.com/yueqingliang1/UNBench.

English

Large Language Models (LLMs) have achieved significant advances in natural language processing, yet their potential for high-stake political decision-making remains largely unexplored. This paper addresses the gap by focusing on the application of LLMs to the United Nations (UN) decision-making process, where the stakes are particularly high and political decisions can have far-reaching consequences. We introduce a novel dataset comprising publicly available UN Security Council (UNSC) records from 1994 to 2024, including draft resolutions, voting records, and diplomatic speeches. Using this dataset, we propose the United Nations Benchmark (UNBench), the first comprehensive benchmark designed to evaluate LLMs across four interconnected political science tasks: co-penholder judgment, representative voting simulation, draft adoption prediction, and representative statement generation. These tasks span the three stages of the UN decision-making process--drafting, voting, and discussing--and aim to assess LLMs' ability to understand and simulate political dynamics. Our experimental analysis demonstrates the potential and challenges of applying LLMs in this domain, providing insights into their strengths and limitations in political science. This work contributes to the growing intersection of AI and political science, opening new avenues for research and practical applications in global governance. The UNBench Repository can be accessed at: https://github.com/yueqingliang1/UNBench.