개방형 생성 작업을 위한 자기 일관성

초록

본 논문에서는 대규모 사전 학습 언어 모델(LLMs)의 생성 품질과 일관성을 향상시키기 위한 새로운 접근 방식을 제시한다. 자기 일관성(self-consistency)은 고정된 답변이 있는 프롬프트에 대해 가장 많은 투표를 받은 답변을 선택하는 효과적인 방법으로 부상했다. 본 논문에서는 고정 답변이 있는 문제를 넘어서는 자기 일관성의 적용 범위를 확장하는 일반화된 프레임워크를 소개한다. 광범위한 시뮬레이션을 통해 우리의 접근 방식이 후보 집단에서 최적 또는 근접한 최적의 생성을 일관되게 복구함을 입증한다. 또한, 토큰 로그 확률에 접근하지 않더라도 코드 생성, 자동 형식화, 요약 작업에서 유의미하고 일관된 개선을 보이는 경량의 파라미터 없는 유사도 함수를 제안한다. 우리의 방법은 보조 리랭커 모델이나 기존 모델의 수정 없이도 최소한의 계산 오버헤드만을 요구한다.

English

In this paper, we present a novel approach for improving the quality and consistency of generated outputs from large-scale pre-trained language models (LLMs). Self-consistency has emerged as an effective approach for prompts with fixed answers, selecting the answer with the highest number of votes. In this paper, we introduce a generalized framework for self-consistency that extends its applicability beyond problems that have fixed-answer answers. Through extensive simulations, we demonstrate that our approach consistently recovers the optimal or near-optimal generation from a set of candidates. We also propose lightweight parameter-free similarity functions that show significant and consistent improvements across code generation, autoformalization, and summarization tasks, even without access to token log probabilities. Our method incurs minimal computational overhead, requiring no auxiliary reranker models or modifications to the existing model.

개방형 생성 작업을 위한 자기 일관성

Self-consistency for open-ended generations

초록

Support