Il Gioco del Consenso: Generazione di Modelli Linguistici tramite Ricerca di Equilibrio

The Consensus Game: Language Model Generation via Equilibrium Search

October 13, 2023

Autori: Athul Paul Jacob, Yikang Shen, Gabriele Farina, Jacob Andreas

cs.AI

Abstract

Quando applicati al task di risposta a domande e ad altre attività di generazione di testi, i modelli linguistici (LM) possono essere interrogati in modo generativo (campionando risposte dalla loro distribuzione di output) o discriminativo (utilizzandoli per assegnare un punteggio o classificare un insieme di output candidati). Questi procedimenti a volte producono previsioni molto diverse. Come possiamo conciliare procedure di valutazione mutualmente incompatibili per ottenere previsioni coerenti dai LM? Introduciamo un nuovo procedimento di decodifica per modelli linguistici, privo di addestramento e basato sulla teoria dei giochi. Il nostro approccio inquadra la decodifica dei modelli linguistici come un gioco sequenziale di segnalazione a informazione imperfetta e regolarizzato - che chiamiamo CONSENSUS GAME - in cui un GENERATORE cerca di comunicare un parametro astratto di correttezza utilizzando frasi in linguaggio naturale a un DISCRIMINATORE. Sviluppiamo procedure computazionali per trovare approssimazioni degli equilibri di questo gioco, ottenendo un algoritmo di decodifica che chiamiamo EQUILIBRIUM-RANKING. Applicato a un ampio numero di task (comprensione della lettura, ragionamento di senso comune, risoluzione di problemi matematici e dialogo), EQUILIBRIUM-RANKING migliora in modo costante e talvolta significativo le prestazioni rispetto alle procedure di decodifica esistenti per LM - su più benchmark, osserviamo che l'applicazione di EQUILIBRIUM-RANKING a LLaMA-7B supera le prestazioni dei modelli molto più grandi LLaMA-65B e PaLM-540B. Questi risultati evidenziano il potenziale degli strumenti della teoria dei giochi per affrontare le sfide fondamentali di veridicità e coerenza nei LM.

English

When applied to question answering and other text generation tasks, language models (LMs) may be queried generatively (by sampling answers from their output distribution) or discriminatively (by using them to score or rank a set of candidate outputs). These procedures sometimes yield very different predictions. How do we reconcile mutually incompatible scoring procedures to obtain coherent LM predictions? We introduce a new, a training-free, game-theoretic procedure for language model decoding. Our approach casts language model decoding as a regularized imperfect-information sequential signaling game - which we term the CONSENSUS GAME - in which a GENERATOR seeks to communicate an abstract correctness parameter using natural language sentences to a DISCRIMINATOR. We develop computational procedures for finding approximate equilibria of this game, resulting in a decoding algorithm we call EQUILIBRIUM-RANKING. Applied to a large number of tasks (including reading comprehension, commonsense reasoning, mathematical problem-solving, and dialog), EQUILIBRIUM-RANKING consistently, and sometimes substantially, improves performance over existing LM decoding procedures - on multiple benchmarks, we observe that applying EQUILIBRIUM-RANKING to LLaMA-7B outperforms the much larger LLaMA-65B and PaLM-540B models. These results highlight the promise of game-theoretic tools for addressing fundamental challenges of truthfulness and consistency in LMs.