Autoconsistência para gerações de final aberto

Self-consistency for open-ended generations

July 11, 2023

Autores: Siddhartha Jain, Xiaofei Ma, Anoop Deoras, Bing Xiang

cs.AI

Resumo

Neste artigo, apresentamos uma abordagem inovadora para melhorar a qualidade e a consistência das saídas geradas por modelos de linguagem pré-treinados em larga escala (LLMs). A auto-consistência surgiu como uma abordagem eficaz para prompts com respostas fixas, selecionando a resposta com o maior número de votos. Neste artigo, introduzimos um framework generalizado para auto-consistência que amplia sua aplicabilidade além de problemas que possuem respostas fixas. Por meio de extensas simulações, demonstramos que nossa abordagem recupera consistentemente a geração ótima ou quase ótima a partir de um conjunto de candidatos. Também propomos funções de similaridade leves e sem parâmetros que mostram melhorias significativas e consistentes em tarefas de geração de código, autoformalização e sumarização, mesmo sem acesso às probabilidades logarítmicas dos tokens. Nosso método incorre em sobrecarga computacional mínima, não exigindo modelos de reranking auxiliares ou modificações no modelo existente.

English

In this paper, we present a novel approach for improving the quality and consistency of generated outputs from large-scale pre-trained language models (LLMs). Self-consistency has emerged as an effective approach for prompts with fixed answers, selecting the answer with the highest number of votes. In this paper, we introduce a generalized framework for self-consistency that extends its applicability beyond problems that have fixed-answer answers. Through extensive simulations, we demonstrate that our approach consistently recovers the optimal or near-optimal generation from a set of candidates. We also propose lightweight parameter-free similarity functions that show significant and consistent improvements across code generation, autoformalization, and summarization tasks, even without access to token log probabilities. Our method incurs minimal computational overhead, requiring no auxiliary reranker models or modifications to the existing model.