컨센서스 게임: 평형 탐색을 통한 언어 모델 생성

초록

질문 응답 및 기타 텍스트 생성 작업에 적용할 때, 언어 모델(LM)은 생성적으로(출력 분포에서 답변을 샘플링하여) 또는 판별적으로(후보 출력 집합을 점수 매기거나 순위를 매기기 위해 사용하여) 질의될 수 있습니다. 이러한 절차는 때때로 매우 다른 예측을 내놓습니다. 상호 호환되지 않는 점수 매기기 절차를 어떻게 조화시켜 일관된 LM 예측을 얻을 수 있을까요? 우리는 새로운, 훈련이 필요 없는 게임 이론적 절차를 언어 모델 디코딩에 도입합니다. 우리의 접근법은 언어 모델 디코딩을 정규화된 불완전 정보 순차 신호 게임으로 캐스팅합니다. 이를 CONSENSUS GAME이라고 부르며, 이 게임에서 GENERATOR는 자연어 문장을 사용하여 추상적인 정확성 매개변수를 DISCRIMINATOR에게 전달하려고 합니다. 우리는 이 게임의 근사적 균형을 찾기 위한 계산 절차를 개발하여 EQUILIBRIUM-RANKING이라는 디코딩 알고리즘을 만들었습니다. 이 알고리즘을 다양한 작업(독해, 상식 추론, 수학 문제 해결, 대화 등)에 적용한 결과, EQUILIBRIUM-RANKING은 기존 LM 디코딩 절차에 비해 일관되게, 때로는 상당히 성능을 개선했습니다. 여러 벤치마크에서 LLaMA-7B에 EQUILIBRIUM-RANKING을 적용한 결과, 훨씬 더 큰 LLaMA-65B와 PaLM-540B 모델을 능가하는 것을 관찰했습니다. 이러한 결과는 LM의 진실성과 일관성이라는 근본적인 문제를 해결하기 위한 게임 이론적 도구의 가능성을 강조합니다.

English

When applied to question answering and other text generation tasks, language models (LMs) may be queried generatively (by sampling answers from their output distribution) or discriminatively (by using them to score or rank a set of candidate outputs). These procedures sometimes yield very different predictions. How do we reconcile mutually incompatible scoring procedures to obtain coherent LM predictions? We introduce a new, a training-free, game-theoretic procedure for language model decoding. Our approach casts language model decoding as a regularized imperfect-information sequential signaling game - which we term the CONSENSUS GAME - in which a GENERATOR seeks to communicate an abstract correctness parameter using natural language sentences to a DISCRIMINATOR. We develop computational procedures for finding approximate equilibria of this game, resulting in a decoding algorithm we call EQUILIBRIUM-RANKING. Applied to a large number of tasks (including reading comprehension, commonsense reasoning, mathematical problem-solving, and dialog), EQUILIBRIUM-RANKING consistently, and sometimes substantially, improves performance over existing LM decoding procedures - on multiple benchmarks, we observe that applying EQUILIBRIUM-RANKING to LLaMA-7B outperforms the much larger LLaMA-65B and PaLM-540B models. These results highlight the promise of game-theoretic tools for addressing fundamental challenges of truthfulness and consistency in LMs.

컨센서스 게임: 평형 탐색을 통한 언어 모델 생성

The Consensus Game: Language Model Generation via Equilibrium Search

초록

Support