GTAlign: Alineación Basada en Teoría de Juegos de Asistentes de LLM para el Bienestar Mutuo

GTAlign: Game-Theoretic Alignment of LLM Assistants for Mutual Welfare

October 10, 2025

Autores: Siqi Zhu, David Zhang, Pedro Cisneros-Velarde, Jiaxuan You

cs.AI

Resumen

Los Modelos de Lenguaje a Gran Escala (LLMs, por sus siglas en inglés) han logrado avances notables en razonamiento, aunque en ocasiones generan respuestas subóptimas para los usuarios en tareas como redacción, búsqueda de información o provisión de orientación práctica. Las prácticas convencionales de alineación suelen asumir que maximizar la recompensa del modelo también maximiza el bienestar del usuario, pero esta suposición frecuentemente falla en la práctica: los modelos pueden sobre-explicar o generar razonamientos excesivamente verbosos cuando los usuarios prefieren respuestas concisas. Estos comportamientos se asemejan al dilema del prisionero, donde elecciones individualmente racionales conducen a resultados socialmente subóptimos. El desafío fundamental es la falta de un mecanismo de toma de decisiones basado en principios que beneficie mutuamente tanto al LLM como al usuario. Proponemos Alineación Teórica de Juegos (GTAlign, por sus siglas en inglés), un marco de alineación que integra la toma de decisiones basada en teoría de juegos tanto en el razonamiento como en el entrenamiento. Durante el razonamiento, el modelo trata explícitamente la interacción usuario-LLM como un juego estratégico: construye matrices de pagos dentro de su cadena de razonamiento para estimar el bienestar tanto para sí mismo como para el usuario, y luego selecciona acciones que son mutuamente beneficiosas. Durante el entrenamiento, introducimos una recompensa de bienestar mutuo que refuerza respuestas cooperativas, alineando el comportamiento del modelo con resultados socialmente eficientes. Además, presentamos una técnica de inferencia que aprovecha el razonamiento teórico de juegos para adaptar dinámicamente la respuesta del LLM cuando cambian las políticas de precios del servicio de LLM. Experimentos extensivos demuestran que GTAlign mejora sustancialmente la eficiencia del razonamiento, la calidad de las respuestas y el bienestar mutuo en comparación con los métodos de referencia en diversas tareas. El código está disponible en https://github.com/ulab-uiuc/GTAlign.

English

Large Language Models (LLMs) have achieved remarkable progress in reasoning, yet sometimes produce responses that are suboptimal for users in tasks such as writing, information seeking, or providing practical guidance. Conventional alignment practices typically assume that maximizing model reward also maximizes user welfare, but this assumption frequently fails in practice: models may over-clarify or generate overly verbose reasoning when users prefer concise answers. Such behaviors resemble the prisoner's dilemma, where individually rational choices lead to socially suboptimal outcomes. The fundamental challenge is the lack of a principled decision making mechanism that mutually benefits both the LLM and the user. We propose Game-Theoretic Alignment (GTAlign), an alignment framework that integrates game-theoretic decision making into both reasoning and training. During reasoning, the model explicitly treats user-LLM interaction as a strategic game: it constructs payoff matrices within its reasoning chain to estimate welfare for both itself and the user, and then selects actions that are mutually beneficial. During training, we introduce a mutual welfare reward that reinforces cooperative responses, aligning model behavior with socially efficient outcomes. In addition, we introduce an inference technique that leverages game-theoretic reasoning to dynamically adapt LLM's response when pricing policies of LLM service change. Extensive experiments demonstrate that GTAlign substantially improves reasoning efficiency, answer quality, and mutual welfare compared to baselines across diverse tasks. The code is available at https://github.com/ulab-uiuc/GTAlign .