예측적 텍스트 생성의 해제: 대규모 언어 모델을 위한 정확한 디코딩을 위한 제약 기반 접근법

초록

대형 언어 모델(LLMs)은 텍스트 생성에 있어 강력한 능력을 보여주고 있습니다. 그러나 주어진 프롬프트나 지시에 대해 최적의 결과를 얻는 것은, 특히 수십억 개의 파라미터를 가진 모델의 경우, 어려운 과제입니다. 또한, 유해성 또는 환각과 같은 바람직하지 않은 행동이 나타날 수 있습니다. ChatGPT와 같은 훨씬 더 큰 모델이 이러한 문제를 완화하는 데 강점을 보일 수 있지만, 완전한 예방을 보장할 수는 없습니다. 본 연구에서는 바람직하지 않은 행동을 최소화하고 지시에 대한 충실성을 강화하기 위해 텍스트 생성을 미래 제약 조건이 있는 생성 문제로 공식화하는 것을 제안합니다. LLMs를 사용하여 미래 제약 조건 충족 여부를 추정함으로써 텍스트 생성 과정을 안내합니다. 우리의 광범위한 실험은 키워드 제약 생성(Lin et al., 2020), 유해성 감소(Gehman et al., 2020), 질문-응답에서의 사실적 정확성(Gao et al., 2023)이라는 세 가지 구별되는 텍스트 생성 작업에서 제안된 접근법의 효과를 입증합니다.

English

Large Language Models (LLMs) have demonstrated a powerful ability for text generation. However, achieving optimal results with a given prompt or instruction can be challenging, especially for billion-sized models. Additionally, undesired behaviors such as toxicity or hallucinations can manifest. While much larger models (e.g., ChatGPT) may demonstrate strength in mitigating these issues, there is still no guarantee of complete prevention. In this work, we propose formalizing text generation as a future-constrained generation problem to minimize undesirable behaviors and enforce faithfulness to instructions. The estimation of future constraint satisfaction, accomplished using LLMs, guides the text generation process. Our extensive experiments demonstrate the effectiveness of the proposed approach across three distinct text generation tasks: keyword-constrained generation (Lin et al., 2020), toxicity reduction (Gehman et al., 2020), and factual correctness in question-answering (Gao et al., 2023).

예측적 텍스트 생성의 해제: 대규모 언어 모델을 위한 정확한 디코딩을 위한 제약 기반 접근법

Unlocking Anticipatory Text Generation: A Constrained Approach for Faithful Decoding with Large Language Models

초록

Support