Das Konsensspiel: Sprachmodellgenerierung durch Gleichgewichtssuche

The Consensus Game: Language Model Generation via Equilibrium Search

October 13, 2023

Autoren: Athul Paul Jacob, Yikang Shen, Gabriele Farina, Jacob Andreas

cs.AI

Zusammenfassung

Bei der Anwendung auf Frage-Antwort-Aufgaben und andere Textgenerierungsaufgaben können Sprachmodelle (LMs) entweder generativ (durch das Stichprobenziehen von Antworten aus ihrer Ausgabeverteilung) oder diskriminativ (durch die Verwendung zur Bewertung oder Rangfolge einer Reihe von Kandidatenausgaben) abgefragt werden. Diese Verfahren führen manchmal zu sehr unterschiedlichen Vorhersagen. Wie können wir gegenseitig inkompatible Bewertungsverfahren in Einklang bringen, um kohärente LM-Vorhersagen zu erhalten? Wir stellen ein neues, trainingsfreies, spieltheoretisches Verfahren zur Sprachmodell-Dekodierung vor. Unser Ansatz formuliert die Sprachmodell-Dekodierung als ein regularisiertes, unvollständig informiertes sequenzielles Signalgebungsspiel – das wir als CONSENSUS GAME bezeichnen –, in dem ein GENERATOR versucht, einen abstrakten Korrektheitsparameter mithilfe von natürlichen Sprachsätzen an einen DISKRIMINATOR zu kommunizieren. Wir entwickeln rechnerische Verfahren zur Ermittlung von Näherungsgleichgewichten dieses Spiels, was zu einem Dekodierungsalgorithmus führt, den wir EQUILIBRIUM-RANKING nennen. Angewendet auf eine Vielzahl von Aufgaben (einschließlich Leseverständnis, gesunder Menschenverstand, mathematische Problemlösung und Dialog) verbessert EQUILIBRIUM-RANKING die Leistung im Vergleich zu bestehenden LM-Dekodierungsverfahren konsequent und manchmal erheblich – auf mehreren Benchmarks beobachten wir, dass die Anwendung von EQUILIBRIUM-RANKING auf LLaMA-7B die viel größeren Modelle LLaMA-65B und PaLM-540B übertrifft. Diese Ergebnisse unterstreichen das Potenzial spieltheoretischer Werkzeuge zur Bewältigung grundlegender Herausforderungen in Bezug auf Wahrhaftigkeit und Konsistenz bei LMs.

English

When applied to question answering and other text generation tasks, language models (LMs) may be queried generatively (by sampling answers from their output distribution) or discriminatively (by using them to score or rank a set of candidate outputs). These procedures sometimes yield very different predictions. How do we reconcile mutually incompatible scoring procedures to obtain coherent LM predictions? We introduce a new, a training-free, game-theoretic procedure for language model decoding. Our approach casts language model decoding as a regularized imperfect-information sequential signaling game - which we term the CONSENSUS GAME - in which a GENERATOR seeks to communicate an abstract correctness parameter using natural language sentences to a DISCRIMINATOR. We develop computational procedures for finding approximate equilibria of this game, resulting in a decoding algorithm we call EQUILIBRIUM-RANKING. Applied to a large number of tasks (including reading comprehension, commonsense reasoning, mathematical problem-solving, and dialog), EQUILIBRIUM-RANKING consistently, and sometimes substantially, improves performance over existing LM decoding procedures - on multiple benchmarks, we observe that applying EQUILIBRIUM-RANKING to LLaMA-7B outperforms the much larger LLaMA-65B and PaLM-540B models. These results highlight the promise of game-theoretic tools for addressing fundamental challenges of truthfulness and consistency in LMs.