Evaluación Comparativa de Modelos de Lenguaje para la Ciencia Política: Una Perspectiva de las Naciones Unidas

Benchmarking LLMs for Political Science: A United Nations Perspective

February 19, 2025

Autores: Yueqing Liang, Liangwei Yang, Chen Wang, Congying Xia, Rui Meng, Xiongxiao Xu, Haoran Wang, Ali Payani, Kai Shu

cs.AI

Resumen

Los Modelos de Lenguaje a Gran Escala (LLMs, por sus siglas en inglés) han logrado avances significativos en el procesamiento del lenguaje natural, aunque su potencial para la toma de decisiones políticas de alto impacto sigue siendo en gran medida inexplorado. Este artículo aborda esta brecha al centrarse en la aplicación de los LLMs al proceso de toma de decisiones de las Naciones Unidas (ONU), donde las consecuencias son particularmente críticas y las decisiones políticas pueden tener repercusiones de largo alcance. Presentamos un nuevo conjunto de datos que incluye registros públicos del Consejo de Seguridad de la ONU (UNSC) desde 1994 hasta 2024, como proyectos de resolución, registros de votación y discursos diplomáticos. Utilizando este conjunto de datos, proponemos el Benchmark de las Naciones Unidas (UNBench), el primer marco de evaluación integral diseñado para evaluar los LLMs en cuatro tareas interconectadas de ciencias políticas: juicio de copatrocinio, simulación de votación representativa, predicción de adopción de proyectos y generación de declaraciones representativas. Estas tareas abarcan las tres etapas del proceso de toma de decisiones de la ONU—redacción, votación y discusión—y tienen como objetivo evaluar la capacidad de los LLMs para comprender y simular dinámicas políticas. Nuestro análisis experimental demuestra el potencial y los desafíos de aplicar los LLMs en este ámbito, ofreciendo perspectivas sobre sus fortalezas y limitaciones en el campo de las ciencias políticas. Este trabajo contribuye a la creciente intersección entre la inteligencia artificial y las ciencias políticas, abriendo nuevas vías para la investigación y aplicaciones prácticas en la gobernanza global. El Repositorio UNBench puede consultarse en: https://github.com/yueqingliang1/UNBench.

English

Large Language Models (LLMs) have achieved significant advances in natural language processing, yet their potential for high-stake political decision-making remains largely unexplored. This paper addresses the gap by focusing on the application of LLMs to the United Nations (UN) decision-making process, where the stakes are particularly high and political decisions can have far-reaching consequences. We introduce a novel dataset comprising publicly available UN Security Council (UNSC) records from 1994 to 2024, including draft resolutions, voting records, and diplomatic speeches. Using this dataset, we propose the United Nations Benchmark (UNBench), the first comprehensive benchmark designed to evaluate LLMs across four interconnected political science tasks: co-penholder judgment, representative voting simulation, draft adoption prediction, and representative statement generation. These tasks span the three stages of the UN decision-making process--drafting, voting, and discussing--and aim to assess LLMs' ability to understand and simulate political dynamics. Our experimental analysis demonstrates the potential and challenges of applying LLMs in this domain, providing insights into their strengths and limitations in political science. This work contributes to the growing intersection of AI and political science, opening new avenues for research and practical applications in global governance. The UNBench Repository can be accessed at: https://github.com/yueqingliang1/UNBench.