セマンティック・エントロピー・プローブ：LLMにおける頑健かつ低コストな幻覚検出

Semantic Entropy Probes: Robust and Cheap Hallucination Detection in LLMs

June 22, 2024

著者: Jannik Kossen, Jiatong Han, Muhammed Razzak, Lisa Schut, Shreshth Malik, Yarin Gal

cs.AI

要旨

我々は、大規模言語モデル（LLM）における不確実性定量化のための、低コストで信頼性の高い手法として、セマンティックエントロピープローブ（SEP）を提案する。LLMの実用化における主要な課題の一つである「幻覚」現象（一見もっともらしいが、事実に反する任意のモデル生成）に対処するため、Farquharら（2024）は最近、複数のモデル生成における意味空間の不確実性を推定することで幻覚を検出可能なセマンティックエントロピー（SE）を提案した。しかし、SE計算に伴う5～10倍の計算コスト増加が実用化を阻害している。この問題を解決するため、我々は単一生成の隠れ状態から直接SEを近似するSEPを提案する。SEPは学習が容易で、テスト時に複数のモデル生成をサンプリングする必要がなく、意味的不確実性定量化のオーバーヘッドをほぼゼロに削減する。我々は、SEPが幻覚検出において高い性能を維持し、モデルの精度を直接予測する従来のプロービング手法よりも分布外データへの汎化性能が優れていることを示す。複数のモデルとタスクにわたる結果から、モデルの隠れ状態がSEを捉えていることが示唆され、アブレーション研究により、これが当てはまるトークン位置とモデル層に関するさらなる洞察が得られた。

English

We propose semantic entropy probes (SEPs), a cheap and reliable method for uncertainty quantification in Large Language Models (LLMs). Hallucinations, which are plausible-sounding but factually incorrect and arbitrary model generations, present a major challenge to the practical adoption of LLMs. Recent work by Farquhar et al. (2024) proposes semantic entropy (SE), which can detect hallucinations by estimating uncertainty in the space semantic meaning for a set of model generations. However, the 5-to-10-fold increase in computation cost associated with SE computation hinders practical adoption. To address this, we propose SEPs, which directly approximate SE from the hidden states of a single generation. SEPs are simple to train and do not require sampling multiple model generations at test time, reducing the overhead of semantic uncertainty quantification to almost zero. We show that SEPs retain high performance for hallucination detection and generalize better to out-of-distribution data than previous probing methods that directly predict model accuracy. Our results across models and tasks suggest that model hidden states capture SE, and our ablation studies give further insights into the token positions and model layers for which this is the case.