Самосогласованность для открытых генераций
Self-consistency for open-ended generations
July 11, 2023
Авторы: Siddhartha Jain, Xiaofei Ma, Anoop Deoras, Bing Xiang
cs.AI
Аннотация
В данной статье мы представляем новый подход для повышения качества и согласованности генерируемых выходных данных крупномасштабных предобученных языковых моделей (LLM). Самосогласованность зарекомендовала себя как эффективный метод для запросов с фиксированными ответами, выбирая ответ с наибольшим количеством голосов. В этой работе мы вводим обобщённую структуру для самосогласованности, которая расширяет её применимость за пределы задач с фиксированными ответами. С помощью обширных симуляций мы демонстрируем, что наш подход стабильно восстанавливает оптимальную или близкую к оптимальной генерацию из набора кандидатов. Мы также предлагаем лёгкие параметрически независимые функции схожести, которые показывают значительные и устойчивые улучшения в задачах генерации кода, автоформализации и суммаризации, даже без доступа к вероятностям токенов. Наш метод требует минимальных вычислительных затрат, не нуждаясь в дополнительных моделях ранжирования или изменениях существующей модели.
English
In this paper, we present a novel approach for improving the quality and
consistency of generated outputs from large-scale pre-trained language models
(LLMs). Self-consistency has emerged as an effective approach for prompts with
fixed answers, selecting the answer with the highest number of votes. In this
paper, we introduce a generalized framework for self-consistency that extends
its applicability beyond problems that have fixed-answer answers. Through
extensive simulations, we demonstrate that our approach consistently recovers
the optimal or near-optimal generation from a set of candidates. We also
propose lightweight parameter-free similarity functions that show significant
and consistent improvements across code generation, autoformalization, and
summarization tasks, even without access to token log probabilities. Our method
incurs minimal computational overhead, requiring no auxiliary reranker models
or modifications to the existing model.