LLMは示す以上に知っている: LLMホールジネーションの固有表現について

LLMs Know More Than They Show: On the Intrinsic Representation of LLM Hallucinations

October 3, 2024

著者: Hadas Orgad, Michael Toker, Zorik Gekhman, Roi Reichart, Idan Szpektor, Hadas Kotek, Yonatan Belinkov

cs.AI

要旨

大規模言語モデル（LLMs）はしばしば、事実の不正確さ、バイアス、および推論の失敗などの誤りを生じますが、これらは総称して「幻覚」と呼ばれます。最近の研究では、LLMsの内部状態が出力の真偽に関する情報をエンコードしており、この情報を利用して誤りを検出できることが示されています。本研究では、LLMsの内部表現が真偽に関する情報を以前に認識されていた以上に多くエンコードしていることを示します。まず、真偽情報が特定のトークンに集中していることを発見し、この特性を活用することで誤り検出の性能が著しく向上することを示します。しかし、このような誤り検出器がデータセット間で汎化できないことを示し、先行研究とは対照的に、真偽のエンコーディングが普遍的ではなく、むしろ多面的であることを示します。次に、内部表現を使用してモデルが起こす可能性のある誤りのタイプを予測することもでき、適切な緩和戦略の開発を容易にします。最後に、LLMsの内部エンコーディングと外部振る舞いとの不一致を明らかにします：彼らは正しい答えをエンコードしているかもしれませんが、一貫して誤った答えを生成します。これらの洞察を総合すると、これらの見解は、モデルの内部からLLMの誤りに関する理解を深め、誤り分析と緩和の向上に関する将来の研究を導くことができます。

English

Large language models (LLMs) often produce errors, including factual inaccuracies, biases, and reasoning failures, collectively referred to as "hallucinations". Recent studies have demonstrated that LLMs' internal states encode information regarding the truthfulness of their outputs, and that this information can be utilized to detect errors. In this work, we show that the internal representations of LLMs encode much more information about truthfulness than previously recognized. We first discover that the truthfulness information is concentrated in specific tokens, and leveraging this property significantly enhances error detection performance. Yet, we show that such error detectors fail to generalize across datasets, implying that -- contrary to prior claims -- truthfulness encoding is not universal but rather multifaceted. Next, we show that internal representations can also be used for predicting the types of errors the model is likely to make, facilitating the development of tailored mitigation strategies. Lastly, we reveal a discrepancy between LLMs' internal encoding and external behavior: they may encode the correct answer, yet consistently generate an incorrect one. Taken together, these insights deepen our understanding of LLM errors from the model's internal perspective, which can guide future research on enhancing error analysis and mitigation.