Het Consensusspel: Taalmodelgeneratie via Evenwichtszoeken

The Consensus Game: Language Model Generation via Equilibrium Search

October 13, 2023

Auteurs: Athul Paul Jacob, Yikang Shen, Gabriele Farina, Jacob Andreas

cs.AI

Samenvatting

Wanneer ze worden toegepast op vraag-antwoordtaken en andere tekstgeneratietaken, kunnen taalmodelen (LMs) generatief worden bevraagd (door antwoorden te bemonsteren uit hun uitvoerverdeling) of discriminerend (door ze te gebruiken om een set kandidaat-uitvoeringen te scoren of te rangschikken). Deze procedures leveren soms zeer verschillende voorspellingen op. Hoe kunnen we onderling onverenigbare scoringsprocedures verzoenen om coherente LM-voorspellingen te verkrijgen? We introduceren een nieuwe, trainingsvrije, speltheoretische procedure voor het decoderen van taalmodelen. Onze benadering modelleert het decoderen van taalmodelen als een gereguleerd sequentieel signaalspel met onvolledige informatie - dat we het CONSENSUS SPEL noemen - waarin een GENERATOR probeert een abstract correctheidsparameter te communiceren met behulp van natuurlijke taalzinnen naar een DISCRIMINATOR. We ontwikkelen computationele procedures voor het vinden van benaderende evenwichten van dit spel, wat resulteert in een decodeeralgoritme dat we EQUILIBRIUM-RANKING noemen. Toegepast op een groot aantal taken (waaronder leesbegrip, gezond verstand redeneren, wiskundig probleemoplossen en dialoog), verbetert EQUILIBRIUM-RANKING consistent, en soms aanzienlijk, de prestaties ten opzichte van bestaande LM-decodeerprocedures - op meerdere benchmarks observeren we dat het toepassen van EQUILIBRIUM-RANKING op LLaMA-7B de veel grotere LLaMA-65B en PaLM-540B modellen overtreft. Deze resultaten onderstrepen de belofte van speltheoretische tools voor het aanpakken van fundamentele uitdagingen op het gebied van waarheidsgetrouwheid en consistentie in LMs.

English

When applied to question answering and other text generation tasks, language models (LMs) may be queried generatively (by sampling answers from their output distribution) or discriminatively (by using them to score or rank a set of candidate outputs). These procedures sometimes yield very different predictions. How do we reconcile mutually incompatible scoring procedures to obtain coherent LM predictions? We introduce a new, a training-free, game-theoretic procedure for language model decoding. Our approach casts language model decoding as a regularized imperfect-information sequential signaling game - which we term the CONSENSUS GAME - in which a GENERATOR seeks to communicate an abstract correctness parameter using natural language sentences to a DISCRIMINATOR. We develop computational procedures for finding approximate equilibria of this game, resulting in a decoding algorithm we call EQUILIBRIUM-RANKING. Applied to a large number of tasks (including reading comprehension, commonsense reasoning, mathematical problem-solving, and dialog), EQUILIBRIUM-RANKING consistently, and sometimes substantially, improves performance over existing LM decoding procedures - on multiple benchmarks, we observe that applying EQUILIBRIUM-RANKING to LLaMA-7B outperforms the much larger LLaMA-65B and PaLM-540B models. These results highlight the promise of game-theoretic tools for addressing fundamental challenges of truthfulness and consistency in LMs.