予測的テキスト生成の解放：大規模言語モデルを用いた忠実なデコーディングのための制約付きアプローチ

要旨

大規模言語モデル（LLMs）は、テキスト生成において強力な能力を発揮することが実証されています。しかし、与えられたプロンプトや指示に対して最適な結果を得ることは、特に数十億規模のモデルでは困難です。さらに、有害性や虚偽の生成といった望ましくない振る舞いが現れることがあります。ChatGPTのようなさらに大規模なモデルではこれらの問題を軽減する強みを示すかもしれませんが、完全な予防が保証されているわけではありません。本研究では、望ましくない振る舞いを最小化し、指示への忠実性を強化するために、テキスト生成を未来制約付き生成問題として形式化することを提案します。LLMsを用いて未来制約の充足度を推定し、これがテキスト生成プロセスを導きます。我々の広範な実験は、キーワード制約付き生成（Lin et al., 2020）、有害性低減（Gehman et al., 2020）、質問応答における事実的正確性（Gao et al., 2023）という3つの異なるテキスト生成タスクにおいて、提案手法の有効性を実証しています。

English

Large Language Models (LLMs) have demonstrated a powerful ability for text generation. However, achieving optimal results with a given prompt or instruction can be challenging, especially for billion-sized models. Additionally, undesired behaviors such as toxicity or hallucinations can manifest. While much larger models (e.g., ChatGPT) may demonstrate strength in mitigating these issues, there is still no guarantee of complete prevention. In this work, we propose formalizing text generation as a future-constrained generation problem to minimize undesirable behaviors and enforce faithfulness to instructions. The estimation of future constraint satisfaction, accomplished using LLMs, guides the text generation process. Our extensive experiments demonstrate the effectiveness of the proposed approach across three distinct text generation tasks: keyword-constrained generation (Lin et al., 2020), toxicity reduction (Gehman et al., 2020), and factual correctness in question-answering (Gao et al., 2023).

予測的テキスト生成の解放：大規模言語モデルを用いた忠実なデコーディングのための制約付きアプローチ

Unlocking Anticipatory Text Generation: A Constrained Approach for Faithful Decoding with Large Language Models

要旨

Support