시간적 다중 신호 융합을 통한 토큰 수준 환각 탐지

초록

토큰 수준 환각 탐지기는 각 토큰을 단일 신호로부터 독립적으로 점수화하며, 생성 모델이 확신에 차서 틀린 경우 정확히 실패한다. 본 논문은 환각을 시간적으로 확장된 구간으로 간주하고 이를 시퀀스 레이블링으로 탐지한다. 각 토큰은 텍스트 통계, 자연어 추론(NLI) 함의, 언어 모델 서프라이절을 융합한 33차원 특징 스트림으로부터 점수화되며, 모델 내부에는 접근하지 않는다. 이러한 특징을 입력으로 하는 양방향 게이트 순환 유닛(BiGRU)은 RAGTruth에서 AUC 0.840(10개 시드)을 달성하여, 독립 로지스틱 회귀 베이스라인보다 11포인트 높은 성능을 보인다(p = 0.002, 윌콕슨 부호 순위 검정). 통제된 분해 분석에 따르면 이러한 성능 향상의 대부분은 모델 용량보다 시간적 순서에서 비롯된다. 즉, 구간 내에서 확신이 있는 위치의 증거가 모호한 이웃 위치로 전파된다. 동일한 0.845 상한이 순환, 상태 공간(Mamba), 어텐션 아키텍처 전반에서 반복되며, 이는 병목이 모델이 아니라 특징 집합에 있음을 보여준다. 이 탐지기는 생성된 텍스트와 외부 신호만 읽으므로 폐쇄형 모델에도 적용할 수 있으며, 훈련 중 본 적 없는 언어 모델이 생성한 텍스트에서도 AUC 손실이 4% 미만으로 계속 작동한다.

English

Token-level hallucination detectors score each token independently from a single signal, and fail exactly when the generating model is confidently wrong. This paper instead treats hallucination as a temporally extended span and detects it by sequence labeling: each token is scored from a 33-dimensional feature stream that fuses text statistics, Natural Language Inference (NLI) entailment, and language model surprisal, with no access to model internals. A Bidirectional Gated Recurrent Unit (BiGRU) over these features reaches an AUC of 0.840 on RAGTruth (10 seeds), an 11-point gain over an independent logistic-regression baseline (p = 0.002, Wilcoxon signed-rank). A controlled decomposition attributes most of the gain to temporal order rather than model capacity: evidence propagates from confident positions to ambiguous neighbors within a span. The same 0.845 ceiling recurs across recurrent, state-space (Mamba), and attention architectures, locating the bottleneck in the feature set rather than the model. Because it reads only the generated text and external signals, the detector works on closed-source models, and it keeps working on text produced by language models it never saw during training, losing under 4% AUC.