DoLa: 層間対比によるデコーディングが大規模言語モデルの事実性を向上させる

要旨

大規模言語モデル（LLM）はその驚異的な能力にもかかわらず、事前学習中に見た事実から逸脱した内容を生成する「幻覚」現象に陥りやすい。本論文では、外部知識の検索に依存せず、追加のファインチューニングも必要としない、事前学習済みLLMの幻覚を低減するためのシンプルなデコーディング戦略を提案する。我々のアプローチは、LLMにおける事実知識が特定のTransformer層に局在化しているという特性を利用し、後続層と初期層を語彙空間に投影して得られるロジットの差異を対比することで、次のトークンの分布を取得する。この「層間対比によるデコーディング（Decoding by Contrasting Layers: DoLa）」アプローチは、事実知識をより効果的に表面化させ、誤った事実の生成を低減できることがわかった。DoLaは、複数選択タスクや自由記述生成タスクにおいて一貫して真実性を向上させ、例えばLLaMAファミリーモデルのTruthfulQAにおける性能を12-17%ポイント絶対値で向上させ、LLMが信頼性の高い真実を生成する可能性を示している。

English

Despite their impressive capabilities, large language models (LLMs) are prone to hallucinations, i.e., generating content that deviates from facts seen during pretraining. We propose a simple decoding strategy for reducing hallucinations with pretrained LLMs that does not require conditioning on retrieved external knowledge nor additional fine-tuning. Our approach obtains the next-token distribution by contrasting the differences in logits obtained from projecting the later layers versus earlier layers to the vocabulary space, exploiting the fact that factual knowledge in an LLMs has generally been shown to be localized to particular transformer layers. We find that this Decoding by Contrasting Layers (DoLa) approach is able to better surface factual knowledge and reduce the generation of incorrect facts. DoLa consistently improves the truthfulness across multiple choices tasks and open-ended generation tasks, for example improving the performance of LLaMA family models on TruthfulQA by 12-17% absolute points, demonstrating its potential in making LLMs reliably generate truthful facts.

DoLa: 層間対比によるデコーディングが大規模言語モデルの事実性を向上させる

DoLa: Decoding by Contrasting Layers Improves Factuality in Large Language Models

要旨

Support