El Juego del Consenso: Generación de Modelos de Lenguaje mediante Búsqueda de Equilibrio

The Consensus Game: Language Model Generation via Equilibrium Search

October 13, 2023

Autores: Athul Paul Jacob, Yikang Shen, Gabriele Farina, Jacob Andreas

cs.AI

Resumen

Cuando se aplican a tareas de respuesta a preguntas y otras tareas de generación de texto, los modelos de lenguaje (LMs) pueden ser consultados de manera generativa (muestreando respuestas de su distribución de salida) o de manera discriminativa (utilizándolos para puntuar o clasificar un conjunto de candidatos de salida). Estos procedimientos a veces producen predicciones muy diferentes. ¿Cómo reconciliamos procedimientos de puntuación mutuamente incompatibles para obtener predicciones coherentes de los LMs? Introducimos un nuevo procedimiento, libre de entrenamiento y basado en la teoría de juegos, para la decodificación de modelos de lenguaje. Nuestro enfoque plantea la decodificación de modelos de lenguaje como un juego secuencial de señalización con información imperfecta y regularizado —al que denominamos el JUEGO DEL CONSENSO— en el que un GENERADOR busca comunicar un parámetro abstracto de corrección utilizando oraciones en lenguaje natural a un DISCRIMINADOR. Desarrollamos procedimientos computacionales para encontrar equilibrios aproximados de este juego, lo que resulta en un algoritmo de decodificación que llamamos EQUILIBRIUM-RANKING. Aplicado a una gran cantidad de tareas (incluyendo comprensión lectora, razonamiento de sentido común, resolución de problemas matemáticos y diálogo), EQUILIBRIUM-RANKING mejora consistentemente, y a veces sustancialmente, el rendimiento sobre los procedimientos de decodificación de LMs existentes —en múltiples benchmarks, observamos que aplicar EQUILIBRIUM-RANKING a LLaMA-7B supera a los modelos mucho más grandes LLaMA-65B y PaLM-540B. Estos resultados resaltan la promesa de las herramientas de la teoría de juegos para abordar los desafíos fundamentales de veracidad y consistencia en los LMs.

English

When applied to question answering and other text generation tasks, language models (LMs) may be queried generatively (by sampling answers from their output distribution) or discriminatively (by using them to score or rank a set of candidate outputs). These procedures sometimes yield very different predictions. How do we reconcile mutually incompatible scoring procedures to obtain coherent LM predictions? We introduce a new, a training-free, game-theoretic procedure for language model decoding. Our approach casts language model decoding as a regularized imperfect-information sequential signaling game - which we term the CONSENSUS GAME - in which a GENERATOR seeks to communicate an abstract correctness parameter using natural language sentences to a DISCRIMINATOR. We develop computational procedures for finding approximate equilibria of this game, resulting in a decoding algorithm we call EQUILIBRIUM-RANKING. Applied to a large number of tasks (including reading comprehension, commonsense reasoning, mathematical problem-solving, and dialog), EQUILIBRIUM-RANKING consistently, and sometimes substantially, improves performance over existing LM decoding procedures - on multiple benchmarks, we observe that applying EQUILIBRIUM-RANKING to LLaMA-7B outperforms the much larger LLaMA-65B and PaLM-540B models. These results highlight the promise of game-theoretic tools for addressing fundamental challenges of truthfulness and consistency in LMs.