Le Jeu du Consensus : Génération par Modèles de Langage via Recherche d'Équilibre

The Consensus Game: Language Model Generation via Equilibrium Search

October 13, 2023

Auteurs: Athul Paul Jacob, Yikang Shen, Gabriele Farina, Jacob Andreas

cs.AI

Résumé

Lorsqu'ils sont appliqués à des tâches de réponse à des questions et d'autres tâches de génération de texte, les modèles de langage (LMs) peuvent être interrogés de manière générative (en échantillonnant des réponses à partir de leur distribution de sortie) ou discriminative (en les utilisant pour évaluer ou classer un ensemble de candidats de sortie). Ces procédures produisent parfois des prédictions très différentes. Comment concilier des procédures de notation mutuellement incompatibles pour obtenir des prédictions cohérentes des LMs ? Nous introduisons une nouvelle procédure, sans apprentissage, basée sur la théorie des jeux pour le décodage des modèles de langage. Notre approche modélise le décodage des modèles de langage comme un jeu séquentiel de signalisation à information imparfaite et régularisé - que nous appelons le JEU DU CONSENSUS - dans lequel un GÉNÉRATEUR cherche à communiquer un paramètre abstrait de correction en utilisant des phrases en langage naturel à un DISCRIMINATEUR. Nous développons des procédures computationnelles pour trouver des équilibres approximatifs de ce jeu, aboutissant à un algorithme de décodage que nous appelons CLASSEMENT PAR ÉQUILIBRE. Appliqué à un grand nombre de tâches (y compris la compréhension de lecture, le raisonnement de bon sens, la résolution de problèmes mathématiques et le dialogue), le CLASSEMENT PAR ÉQUILIBRE améliore de manière constante, et parfois substantielle, les performances par rapport aux procédures de décodage existantes des LMs - sur plusieurs benchmarks, nous observons que l'application du CLASSEMENT PAR ÉQUILIBRE à LLaMA-7B surpasse les modèles beaucoup plus grands LLaMA-65B et PaLM-540B. Ces résultats mettent en lumière la promesse des outils de théorie des jeux pour relever les défis fondamentaux de véracité et de cohérence dans les LMs.

English

When applied to question answering and other text generation tasks, language models (LMs) may be queried generatively (by sampling answers from their output distribution) or discriminatively (by using them to score or rank a set of candidate outputs). These procedures sometimes yield very different predictions. How do we reconcile mutually incompatible scoring procedures to obtain coherent LM predictions? We introduce a new, a training-free, game-theoretic procedure for language model decoding. Our approach casts language model decoding as a regularized imperfect-information sequential signaling game - which we term the CONSENSUS GAME - in which a GENERATOR seeks to communicate an abstract correctness parameter using natural language sentences to a DISCRIMINATOR. We develop computational procedures for finding approximate equilibria of this game, resulting in a decoding algorithm we call EQUILIBRIUM-RANKING. Applied to a large number of tasks (including reading comprehension, commonsense reasoning, mathematical problem-solving, and dialog), EQUILIBRIUM-RANKING consistently, and sometimes substantially, improves performance over existing LM decoding procedures - on multiple benchmarks, we observe that applying EQUILIBRIUM-RANKING to LLaMA-7B outperforms the much larger LLaMA-65B and PaLM-540B models. These results highlight the promise of game-theoretic tools for addressing fundamental challenges of truthfulness and consistency in LMs.