UniProbe: 다중 구조적 내부 표현을 활용한 대규모 비전-언어 모델용 학습 가능한 토큰 수준 환각 탐지기

초록

대규모 비전-언어 모델(LVLMs)은 인상적인 시각적 추론 및 대화 능력을 달성하지만, 시각적 입력에 의해 뒷받침되지 않는 내용을 빈번하게 환각한다. 효과적인 완화를 위해서는 토큰 수준의 국소화가 필요하며, 이를 통해 전체 응답을 폐기하지 않으면서 표적 개입이 가능해진다. 기존 탐지기들은 값비싼 전체 모델 미세 조정을 요구하거나, 모델의 생성 과정을 무시하는 외부 검증기에 의존하거나, 내부 신호를 고립된 특징과 수동 설계 통계량으로 축소하여 공간적, 순차적, 관계적 구조를 폐기한다. 우리는 UniProbe를 제안한다. 이는 고정된(frozen) LVLM의 이질적인 계산 궤적을 단일 순전파로부터 모델링하는 경량의 통합 학습 가능 탐지기이다. UniProbe는 이미지 패치, 쿼리 토큰, 생성된 토큰 위에 방향성 그래프를 구축하며, 어텐션 가중치가 이들의 관계를 인코딩한다. 이 궤적은 구조 인식 모듈을 교차 배치하여 처리된다: 관계적 증거를 위한 GNN, 2차원 시각적 기하학을 위한 ViT, 응답 순서를 위한 GRU. 이들을 인터리빙함으로써 공간적, 관계적, 순차적 증거가 탐지기 전반에 걸쳐 상호작용할 수 있다. 또한 우리는 환각 인식 디코딩을 위한 스트리밍 변형을 개발하는데, 이는 생성 중 환각 토큰을 탐지하고 재샘플링하며, 탐지기를 LVLM 자체 생성물과 정렬하는 자기 적응 전략을 포함한다. 다양한 LVLM 백본에서 UniProbe는 최첨단 토큰 수준 및 객체 환각 탐지 성능을 달성한다. 디코딩 중에는 표준 생성 지연 시간의 1.06배라는 비용으로 객체 환각을 최대 55%까지 감소시킨다.

English

Large Vision-Language Models (LVLMs) achieve impressive visual reasoning and dialogue capabilities, yet frequently hallucinate content unsupported by the visual input. Effective mitigation requires token-level localization, enabling targeted intervention without discarding the entire response. Existing detectors require expensive full-model fine-tuning, rely on external verifiers that ignore the model's generation process, or reduce internal signals to isolated features and hand-crafted statistics, discarding spatial, sequential, and relational structure. We introduce UniProbe, a lightweight, unified, learnable detector that models a frozen LVLM's heterogeneous computational trace from a single forward pass. UniProbe constructs a directed graph over image patches, query tokens, and generated tokens, with attention weights encoding their relations. It processes this trace with alternating structure-aware modules: a GNN for relational evidence, a ViT for 2-D visual geometry, and a GRU for response order. Interleaving them allows spatial, relational, and sequential evidence to interact throughout the detector. We further develop a streaming variant for hallucination-aware decoding, which detects and resamples hallucinated tokens during generation, and a self-adaptation strategy aligning the detector with the LVLM's own generations. Across diverse LVLM backbones, UniProbe achieves state-of-the-art token-level and object-hallucination detection. During decoding, it reduces object hallucinations by up to 55\% at 1.06times the latency of standard generation.