Benchmarking von LLMs für die Politikwissenschaft: Eine Perspektive der Vereinten Nationen

Benchmarking LLMs for Political Science: A United Nations Perspective

February 19, 2025

Autoren: Yueqing Liang, Liangwei Yang, Chen Wang, Congying Xia, Rui Meng, Xiongxiao Xu, Haoran Wang, Ali Payani, Kai Shu

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben bedeutende Fortschritte in der natürlichen Sprachverarbeitung erzielt, doch ihr Potenzial für hochriskante politische Entscheidungsfindung bleibt weitgehend unerforscht. Diese Arbeit adressiert diese Lücke, indem sie sich auf die Anwendung von LLMs im Entscheidungsprozess der Vereinten Nationen (UN) konzentriert, wo die Risiken besonders hoch sind und politische Entscheidungen weitreichende Konsequenzen haben können. Wir stellen einen neuartigen Datensatz vor, der öffentlich zugängliche Aufzeichnungen des UN-Sicherheitsrats (UNSC) von 1994 bis 2024 umfasst, einschließlich Entwürfen von Resolutionen, Abstimmungsprotokollen und diplomatischen Reden. Mit diesem Datensatz schlagen wir den United Nations Benchmark (UNBench) vor, den ersten umfassenden Benchmark, der entwickelt wurde, um LLMs in vier miteinander verbundenen politikwissenschaftlichen Aufgaben zu bewerten: Ko-Autoren-Urteil, Simulation von Vertreterabstimmungen, Vorhersage der Annahme von Entwürfen und Generierung von Vertreteraussagen. Diese Aufgaben umfassen die drei Phasen des UN-Entscheidungsprozesses – Entwurf, Abstimmung und Diskussion – und zielen darauf ab, die Fähigkeit von LLMs zu bewerten, politische Dynamiken zu verstehen und zu simulieren. Unsere experimentelle Analyse zeigt das Potenzial und die Herausforderungen der Anwendung von LLMs in diesem Bereich auf und liefert Einblicke in ihre Stärken und Grenzen in der Politikwissenschaft. Diese Arbeit trägt zur wachsenden Schnittstelle zwischen KI und Politikwissenschaft bei und eröffnet neue Wege für Forschung und praktische Anwendungen in der globalen Governance. Das UNBench-Repository kann unter folgender Adresse abgerufen werden: https://github.com/yueqingliang1/UNBench.

English

Large Language Models (LLMs) have achieved significant advances in natural language processing, yet their potential for high-stake political decision-making remains largely unexplored. This paper addresses the gap by focusing on the application of LLMs to the United Nations (UN) decision-making process, where the stakes are particularly high and political decisions can have far-reaching consequences. We introduce a novel dataset comprising publicly available UN Security Council (UNSC) records from 1994 to 2024, including draft resolutions, voting records, and diplomatic speeches. Using this dataset, we propose the United Nations Benchmark (UNBench), the first comprehensive benchmark designed to evaluate LLMs across four interconnected political science tasks: co-penholder judgment, representative voting simulation, draft adoption prediction, and representative statement generation. These tasks span the three stages of the UN decision-making process--drafting, voting, and discussing--and aim to assess LLMs' ability to understand and simulate political dynamics. Our experimental analysis demonstrates the potential and challenges of applying LLMs in this domain, providing insights into their strengths and limitations in political science. This work contributes to the growing intersection of AI and political science, opening new avenues for research and practical applications in global governance. The UNBench Repository can be accessed at: https://github.com/yueqingliang1/UNBench.