O Jogo do Consenso: Geração de Modelos de Linguagem por meio de Busca de Equilíbrio

The Consensus Game: Language Model Generation via Equilibrium Search

October 13, 2023

Autores: Athul Paul Jacob, Yikang Shen, Gabriele Farina, Jacob Andreas

cs.AI

Resumo

Quando aplicados a tarefas de resposta a perguntas e outras tarefas de geração de texto, os modelos de linguagem (LMs) podem ser consultados de forma generativa (amostrando respostas a partir de sua distribuição de saída) ou discriminativa (utilizando-os para pontuar ou classificar um conjunto de candidatos a saída). Esses procedimentos às vezes produzem previsões muito diferentes. Como reconciliamos procedimentos de pontuação mutuamente incompatíveis para obter previsões coerentes de LMs? Introduzimos um novo procedimento de decodificação de modelos de linguagem, livre de treinamento e baseado na teoria dos jogos. Nossa abordagem enquadra a decodificação de modelos de linguagem como um jogo sequencial de sinalização de informação imperfeita e regularizada - que denominamos JOGO DO CONSENSO - no qual um GERADOR busca comunicar um parâmetro abstrato de correção usando sentenças em linguagem natural para um DISCRIMINADOR. Desenvolvemos procedimentos computacionais para encontrar equilíbrios aproximados desse jogo, resultando em um algoritmo de decodificação que chamamos de EQUILIBRIUM-RANKING. Aplicado a um grande número de tarefas (incluindo compreensão de leitura, raciocínio de senso comum, resolução de problemas matemáticos e diálogo), o EQUILIBRIUM-RANKING melhora consistentemente, e às vezes substancialmente, o desempenho em relação aos procedimentos de decodificação de LMs existentes - em vários benchmarks, observamos que a aplicação do EQUILIBRIUM-RANKING ao LLaMA-7B supera os modelos muito maiores LLaMA-65B e PaLM-540B. Esses resultados destacam o potencial das ferramentas da teoria dos jogos para abordar desafios fundamentais de veracidade e consistência em LMs.

English

When applied to question answering and other text generation tasks, language models (LMs) may be queried generatively (by sampling answers from their output distribution) or discriminatively (by using them to score or rank a set of candidate outputs). These procedures sometimes yield very different predictions. How do we reconcile mutually incompatible scoring procedures to obtain coherent LM predictions? We introduce a new, a training-free, game-theoretic procedure for language model decoding. Our approach casts language model decoding as a regularized imperfect-information sequential signaling game - which we term the CONSENSUS GAME - in which a GENERATOR seeks to communicate an abstract correctness parameter using natural language sentences to a DISCRIMINATOR. We develop computational procedures for finding approximate equilibria of this game, resulting in a decoding algorithm we call EQUILIBRIUM-RANKING. Applied to a large number of tasks (including reading comprehension, commonsense reasoning, mathematical problem-solving, and dialog), EQUILIBRIUM-RANKING consistently, and sometimes substantially, improves performance over existing LM decoding procedures - on multiple benchmarks, we observe that applying EQUILIBRIUM-RANKING to LLaMA-7B outperforms the much larger LLaMA-65B and PaLM-540B models. These results highlight the promise of game-theoretic tools for addressing fundamental challenges of truthfulness and consistency in LMs.