Auto-consistance pour les générations ouvertes
Self-consistency for open-ended generations
July 11, 2023
Auteurs: Siddhartha Jain, Xiaofei Ma, Anoop Deoras, Bing Xiang
cs.AI
Résumé
Dans cet article, nous présentons une approche novatrice pour améliorer la qualité et la cohérence des sorties générées par les modèles de langage pré-entraînés à grande échelle (LLMs). L'auto-cohérence s'est révélée être une méthode efficace pour les prompts ayant des réponses fixes, en sélectionnant la réponse ayant le plus grand nombre de votes. Dans cet article, nous introduisons un cadre généralisé pour l'auto-cohérence qui étend son applicabilité au-delà des problèmes ayant des réponses fixes. Grâce à des simulations approfondies, nous démontrons que notre approche récupère systématiquement la génération optimale ou quasi-optimale parmi un ensemble de candidats. Nous proposons également des fonctions de similarité légères et sans paramètres qui montrent des améliorations significatives et cohérentes pour les tâches de génération de code, d'autoformalisation et de résumé, même sans accès aux probabilités logarithmiques des tokens. Notre méthode entraîne une surcharge computationnelle minimale, ne nécessitant aucun modèle de reclassement auxiliaire ni modification du modèle existant.
English
In this paper, we present a novel approach for improving the quality and
consistency of generated outputs from large-scale pre-trained language models
(LLMs). Self-consistency has emerged as an effective approach for prompts with
fixed answers, selecting the answer with the highest number of votes. In this
paper, we introduce a generalized framework for self-consistency that extends
its applicability beyond problems that have fixed-answer answers. Through
extensive simulations, we demonstrate that our approach consistently recovers
the optimal or near-optimal generation from a set of candidates. We also
propose lightweight parameter-free similarity functions that show significant
and consistent improvements across code generation, autoformalization, and
summarization tasks, even without access to token log probabilities. Our method
incurs minimal computational overhead, requiring no auxiliary reranker models
or modifications to the existing model.