オープンエンド生成における自己一貫性

Self-consistency for open-ended generations

July 11, 2023

著者: Siddhartha Jain, Xiaofei Ma, Anoop Deoras, Bing Xiang

cs.AI

要旨

本論文では、大規模事前学習言語モデル（LLM）から生成される出力の品質と一貫性を向上させるための新しいアプローチを提案する。自己一貫性は、固定された答えを持つプロンプトに対して有効な手法として登場し、最も多くの投票を得た答えを選択する。本論文では、固定された答えを持つ問題を超えて適用可能な、自己一貫性の一般化されたフレームワークを紹介する。広範なシミュレーションを通じて、我々のアプローチが候補の中から最適またはほぼ最適な生成を一貫して回復することを実証する。また、トークンの対数確率にアクセスしなくても、コード生成、自動形式化、要約タスクにおいて、有意かつ一貫した改善を示す軽量でパラメータフリーな類似度関数を提案する。我々の手法は、補助的なランキングモデルや既存モデルの変更を必要とせず、最小限の計算オーバーヘッドしか発生しない。

English

In this paper, we present a novel approach for improving the quality and consistency of generated outputs from large-scale pre-trained language models (LLMs). Self-consistency has emerged as an effective approach for prompts with fixed answers, selecting the answer with the highest number of votes. In this paper, we introduce a generalized framework for self-consistency that extends its applicability beyond problems that have fixed-answer answers. Through extensive simulations, we demonstrate that our approach consistently recovers the optimal or near-optimal generation from a set of candidates. We also propose lightweight parameter-free similarity functions that show significant and consistent improvements across code generation, autoformalization, and summarization tasks, even without access to token log probabilities. Our method incurs minimal computational overhead, requiring no auxiliary reranker models or modifications to the existing model.