Valutazione comparativa di LLM per le scienze politiche: una prospettiva delle Nazioni Unite

Benchmarking LLMs for Political Science: A United Nations Perspective

February 19, 2025

Autori: Yueqing Liang, Liangwei Yang, Chen Wang, Congying Xia, Rui Meng, Xiongxiao Xu, Haoran Wang, Ali Payani, Kai Shu

cs.AI

Abstract

I Modelli Linguistici di Grande Dimensione (LLMs) hanno compiuto progressi significativi nell'elaborazione del linguaggio naturale, ma il loro potenziale per il processo decisionale politico ad alto rischio rimane in gran parte inesplorato. Questo articolo affronta tale lacuna concentrandosi sull'applicazione degli LLMs al processo decisionale delle Nazioni Unite (ONU), dove i rischi sono particolarmente elevati e le decisioni politiche possono avere conseguenze di vasta portata. Introduciamo un nuovo dataset che comprende i registri pubblicamente disponibili del Consiglio di Sicurezza delle Nazioni Unite (UNSC) dal 1994 al 2024, inclusi bozze di risoluzioni, registri di voto e discorsi diplomatici. Utilizzando questo dataset, proponiamo il Benchmark delle Nazioni Unite (UNBench), il primo benchmark completo progettato per valutare gli LLMs attraverso quattro compiti interconnessi di scienza politica: giudizio sui co-redattori, simulazione del voto rappresentativo, previsione dell'adozione delle bozze e generazione di dichiarazioni rappresentative. Questi compiti abbracciano le tre fasi del processo decisionale dell'ONU—redazione, voto e discussione—e mirano a valutare la capacità degli LLMs di comprendere e simulare le dinamiche politiche. La nostra analisi sperimentale dimostra il potenziale e le sfide dell'applicazione degli LLMs in questo ambito, fornendo approfondimenti sui loro punti di forza e limiti nella scienza politica. Questo lavoro contribuisce all'intersezione crescente tra intelligenza artificiale e scienza politica, aprendo nuove strade per la ricerca e le applicazioni pratiche nella governance globale. Il repository UNBench è accessibile all'indirizzo: https://github.com/yueqingliang1/UNBench.

English

Large Language Models (LLMs) have achieved significant advances in natural language processing, yet their potential for high-stake political decision-making remains largely unexplored. This paper addresses the gap by focusing on the application of LLMs to the United Nations (UN) decision-making process, where the stakes are particularly high and political decisions can have far-reaching consequences. We introduce a novel dataset comprising publicly available UN Security Council (UNSC) records from 1994 to 2024, including draft resolutions, voting records, and diplomatic speeches. Using this dataset, we propose the United Nations Benchmark (UNBench), the first comprehensive benchmark designed to evaluate LLMs across four interconnected political science tasks: co-penholder judgment, representative voting simulation, draft adoption prediction, and representative statement generation. These tasks span the three stages of the UN decision-making process--drafting, voting, and discussing--and aim to assess LLMs' ability to understand and simulate political dynamics. Our experimental analysis demonstrates the potential and challenges of applying LLMs in this domain, providing insights into their strengths and limitations in political science. This work contributes to the growing intersection of AI and political science, opening new avenues for research and practical applications in global governance. The UNBench Repository can be accessed at: https://github.com/yueqingliang1/UNBench.