Сравнение LLM для политических наук: перспектива Организации Объединенных Наций

Benchmarking LLMs for Political Science: A United Nations Perspective

February 19, 2025

Авторы: Yueqing Liang, Liangwei Yang, Chen Wang, Congying Xia, Rui Meng, Xiongxiao Xu, Haoran Wang, Ali Payani, Kai Shu

cs.AI

Аннотация

Большие языковые модели (LLM) достигли значительных успехов в обработке естественного языка, однако их потенциал для принятия политических решений высокого уровня остается в значительной степени неисследованным. В данной статье рассматривается данная проблема, фокусируясь на применении LLM к процессу принятия решений в Организации Объединенных Наций (ООН), где ставки особенно высоки, и политические решения могут иметь далеко идущие последствия. Мы представляем новый набор данных, включающий публично доступные записи Совета Безопасности ООН с 1994 по 2024 год, включая проекты резолюций, записи голосований и дипломатические выступления. Используя этот набор данных, мы предлагаем Бенчмарк Организации Объединенных Наций (UNBench), первый всесторонний бенчмарк, разработанный для оценки LLM по четырем взаимосвязанным задачам политической науки: оценка совместного решения, симуляция голосования представителей, прогнозирование принятия проекта и генерация высказываний представителей. Эти задачи охватывают три этапа процесса принятия решений в ООН - разработку, голосование и обсуждение - и направлены на оценку способности LLM понимать и симулировать политическую динамику. Наш экспериментальный анализ демонстрирует потенциал и вызовы применения LLM в этой области, предоставляя понимание их сильных и слабых сторон в политической науке. Эта работа вносит свой вклад в растущее пересечение ИИ и политической науки, открывая новые пути для исследований и практических применений в глобальном управлении. Репозиторий UNBench доступен по ссылке: https://github.com/yueqingliang1/UNBench.

English

Large Language Models (LLMs) have achieved significant advances in natural language processing, yet their potential for high-stake political decision-making remains largely unexplored. This paper addresses the gap by focusing on the application of LLMs to the United Nations (UN) decision-making process, where the stakes are particularly high and political decisions can have far-reaching consequences. We introduce a novel dataset comprising publicly available UN Security Council (UNSC) records from 1994 to 2024, including draft resolutions, voting records, and diplomatic speeches. Using this dataset, we propose the United Nations Benchmark (UNBench), the first comprehensive benchmark designed to evaluate LLMs across four interconnected political science tasks: co-penholder judgment, representative voting simulation, draft adoption prediction, and representative statement generation. These tasks span the three stages of the UN decision-making process--drafting, voting, and discussing--and aim to assess LLMs' ability to understand and simulate political dynamics. Our experimental analysis demonstrates the potential and challenges of applying LLMs in this domain, providing insights into their strengths and limitations in political science. This work contributes to the growing intersection of AI and political science, opening new avenues for research and practical applications in global governance. The UNBench Repository can be accessed at: https://github.com/yueqingliang1/UNBench.