Benchmarks de LLMs para Ciência Política: Uma Perspectiva das Nações Unidas

Benchmarking LLMs for Political Science: A United Nations Perspective

February 19, 2025

Autores: Yueqing Liang, Liangwei Yang, Chen Wang, Congying Xia, Rui Meng, Xiongxiao Xu, Haoran Wang, Ali Payani, Kai Shu

cs.AI

Resumo

Os Modelos de Linguagem de Grande Escala (LLMs) alcançaram avanços significativos no processamento de linguagem natural, no entanto, seu potencial para tomadas de decisão política de alto risco permanece amplamente inexplorado. Este artigo aborda essa lacuna ao focar na aplicação de LLMs no processo de tomada de decisão das Nações Unidas (ONU), onde os riscos são particularmente altos e as decisões políticas podem ter consequências de longo alcance. Apresentamos um novo conjunto de dados composto por registros publicamente disponíveis do Conselho de Segurança das Nações Unidas (UNSC) de 1994 a 2024, incluindo projetos de resoluções, registros de votação e discursos diplomáticos. Utilizando este conjunto de dados, propomos o United Nations Benchmark (UNBench), o primeiro benchmark abrangente projetado para avaliar LLMs em quatro tarefas interconectadas de ciência política: julgamento de co-titularidade, simulação de votação representativa, previsão de adoção de projetos e geração de declarações representativas. Essas tarefas abrangem as três etapas do processo de tomada de decisão da ONU - elaboração, votação e discussão - e visam avaliar a capacidade dos LLMs de compreender e simular dinâmicas políticas. Nossa análise experimental demonstra o potencial e os desafios de aplicar LLMs nesse domínio, fornecendo insights sobre suas forças e limitações na ciência política. Este trabalho contribui para a crescente interseção entre IA e ciência política, abrindo novos caminhos para pesquisa e aplicações práticas na governança global. O Repositório UNBench pode ser acessado em: https://github.com/yueqingliang1/UNBench.

English

Large Language Models (LLMs) have achieved significant advances in natural language processing, yet their potential for high-stake political decision-making remains largely unexplored. This paper addresses the gap by focusing on the application of LLMs to the United Nations (UN) decision-making process, where the stakes are particularly high and political decisions can have far-reaching consequences. We introduce a novel dataset comprising publicly available UN Security Council (UNSC) records from 1994 to 2024, including draft resolutions, voting records, and diplomatic speeches. Using this dataset, we propose the United Nations Benchmark (UNBench), the first comprehensive benchmark designed to evaluate LLMs across four interconnected political science tasks: co-penholder judgment, representative voting simulation, draft adoption prediction, and representative statement generation. These tasks span the three stages of the UN decision-making process--drafting, voting, and discussing--and aim to assess LLMs' ability to understand and simulate political dynamics. Our experimental analysis demonstrates the potential and challenges of applying LLMs in this domain, providing insights into their strengths and limitations in political science. This work contributes to the growing intersection of AI and political science, opening new avenues for research and practical applications in global governance. The UNBench Repository can be accessed at: https://github.com/yueqingliang1/UNBench.