FLAME: 大規模言語モデルのための事実認識アラインメント

FLAME: Factuality-Aware Alignment for Large Language Models

May 2, 2024

著者: Sheng-Chieh Lin, Luyu Gao, Barlas Oguz, Wenhan Xiong, Jimmy Lin, Wen-tau Yih, Xilun Chen

cs.AI

要旨

アライメントは、事前学習済みの大規模言語モデル（LLM）を微調整し、自然言語の指示に従わせて有用なAIアシスタントとして機能させるための標準的な手順です。しかし、従来のアライメントプロセスではLLMの事実の正確性が向上せず、むしろ虚偽の事実（すなわち、幻覚）の生成が増えることが観察されています。本論文では、アライメントプロセスをより事実に基づいたものにする方法を探るため、まず、教師あり微調整（SFT）と強化学習（RL）の両方のステップで幻覚を引き起こす要因を特定します。特に、LLMに新しい知識や馴染みのないテキストを学習させることが幻覚を助長することを発見しました。これは、SFTがLLMにとって新規である可能性のある人間によるラベル付きデータを学習するため、事実性を損なう原因となります。さらに、標準的なRLで使用される報酬関数も幻覚を助長する可能性があります。なぜなら、それはLLMに多様な指示に対してより有用な応答を提供するよう導き、しばしばより長く詳細な応答を好むためです。これらの観察に基づき、我々は事実性を意識したアライメントを提案します。これは、事実性を意識したSFTと、直接選好最適化を通じた事実性を意識したRLで構成されます。実験結果は、提案された事実性を意識したアライメントが、指示に従う能力を維持しながら、LLMにより事実に基づいた応答を出力させることを示しています。

English

Alignment is a standard procedure to fine-tune pre-trained large language models (LLMs) to follow natural language instructions and serve as helpful AI assistants. We have observed, however, that the conventional alignment process fails to enhance the factual accuracy of LLMs, and often leads to the generation of more false facts (i.e. hallucination). In this paper, we study how to make the LLM alignment process more factual, by first identifying factors that lead to hallucination in both alignment steps:\ supervised fine-tuning (SFT) and reinforcement learning (RL). In particular, we find that training the LLM on new knowledge or unfamiliar texts can encourage hallucination. This makes SFT less factual as it trains on human labeled data that may be novel to the LLM. Furthermore, reward functions used in standard RL can also encourage hallucination, because it guides the LLM to provide more helpful responses on a diverse set of instructions, often preferring longer and more detailed responses. Based on these observations, we propose factuality-aware alignment, comprised of factuality-aware SFT and factuality-aware RL through direct preference optimization. Experiments show that our proposed factuality-aware alignment guides LLMs to output more factual responses while maintaining instruction-following capability.