時系列マルチシグナル融合によるトークンレベル幻覚検出

要旨

トークンレベルの幻覚検出器は、各トークンを単一の信号から独立にスコアリングし、生成モデルが高い確信度で誤っている場合にまさに失敗する。本論文では代わりに、幻覚を時間的に拡張されたスパンとして扱い、系列ラベリングによって検出する。具体的には、モデル内部へ一切アクセスすることなく、各トークンは、テキスト統計、自然言語推論（NLI）の含意関係、および言語モデルのサプライザル（surprisal）を融合した33次元の特徴ストリームからスコアリングされる。この特徴ストリームを入力とする双方向ゲート付き回帰型ユニット（BiGRU）は、RAGTruth（10シード）でAUC 0.840を達成し、独立したロジスティック回帰ベースラインに対する11ポイントの向上を示した（p = 0.002、ウィルコクソンの符号付き順位検定）。制御された要因分解によって、この向上の大部分はモデル容量ではなく時間的順序に帰属されることが示された。すなわち、証拠はスパン内の確信的な位置から曖昧な隣接位置へと伝播する。同じ0.845という上限は、回帰型、状態空間（Mamba）、および注意機構の各アーキテクチャにわたって再現され、ボトルネックがモデルではなく特徴セットにあることを示している。本検出器は生成されたテキストと外部信号のみを読み取るため、クローズドソースモデルでも動作する。さらに、訓練時に一度も見たことのない言語モデルが生成したテキストに対しても機能し続け、AUCの低下は4%未満にとどまる。

English

Token-level hallucination detectors score each token independently from a single signal, and fail exactly when the generating model is confidently wrong. This paper instead treats hallucination as a temporally extended span and detects it by sequence labeling: each token is scored from a 33-dimensional feature stream that fuses text statistics, Natural Language Inference (NLI) entailment, and language model surprisal, with no access to model internals. A Bidirectional Gated Recurrent Unit (BiGRU) over these features reaches an AUC of 0.840 on RAGTruth (10 seeds), an 11-point gain over an independent logistic-regression baseline (p = 0.002, Wilcoxon signed-rank). A controlled decomposition attributes most of the gain to temporal order rather than model capacity: evidence propagates from confident positions to ambiguous neighbors within a span. The same 0.845 ceiling recurs across recurrent, state-space (Mamba), and attention architectures, locating the bottleneck in the feature set rather than the model. Because it reads only the generated text and external signals, the detector works on closed-source models, and it keeps working on text produced by language models it never saw during training, losing under 4% AUC.