Auto-consistenza per generazioni aperte

Self-consistency for open-ended generations

July 11, 2023

Autori: Siddhartha Jain, Xiaofei Ma, Anoop Deoras, Bing Xiang

cs.AI

Abstract

In questo articolo, presentiamo un approccio innovativo per migliorare la qualità e la coerenza degli output generati da modelli linguistici pre-addestrati su larga scala (LLM). L'auto-coerenza si è rivelata un metodo efficace per prompt con risposte fisse, selezionando la risposta con il maggior numero di voti. In questo lavoro, introduciamo un framework generalizzato per l'auto-coerenza che ne estende l'applicabilità oltre i problemi con risposte fisse. Attraverso simulazioni estensive, dimostriamo che il nostro approccio recupera in modo coerente la generazione ottimale o quasi ottimale da un insieme di candidati. Proponiamo inoltre funzioni di similarità leggere e prive di parametri che mostrano miglioramenti significativi e consistenti in compiti di generazione di codice, autoformalizzazione e riassunto, anche senza accesso alle probabilità logaritmiche dei token. Il nostro metodo comporta un sovraccarico computazionale minimo, non richiedendo modelli di riordinamento aggiuntivi o modifiche al modello esistente.

English

In this paper, we present a novel approach for improving the quality and consistency of generated outputs from large-scale pre-trained language models (LLMs). Self-consistency has emerged as an effective approach for prompts with fixed answers, selecting the answer with the highest number of votes. In this paper, we introduce a generalized framework for self-consistency that extends its applicability beyond problems that have fixed-answer answers. Through extensive simulations, we demonstrate that our approach consistently recovers the optimal or near-optimal generation from a set of candidates. We also propose lightweight parameter-free similarity functions that show significant and consistent improvements across code generation, autoformalization, and summarization tasks, even without access to token log probabilities. Our method incurs minimal computational overhead, requiring no auxiliary reranker models or modifications to the existing model.