UniProbe: マルチ構造内部表現を用いた大規模VLM向けの学習可能なトークンレベル幻覚検出器

要旨

大規模視覚言語モデル（LVLM）は、優れた視覚推論と対話能力を達成する一方で、視覚入力によって裏付けられない内容を幻覚することが頻繁にある。効果的な緩和には、応答全体を破棄することなく標的を絞った介入を可能にする、トークンレベルの位置特定が必要である。既存の検出器は、高コストなモデル全体のファインチューニングを必要とするか、モデルの生成過程を無視する外部検証器に依存するか、あるいは内部信号を孤立した特徴量や手作業の統計量に還元し、空間的・系列的・関係的構造を捨てている。我々はUniProbeを導入する。これは、凍結されたLVLMの異種計算トレースを単一の順伝播からモデル化する、軽量で統一された学習可能な検出器である。UniProbeは、画像パッチ、クエリトークン、生成トークン上の有向グラフを構築し、注意重みがそれらの関係を符号化する。このトレースを、構造認識モジュールを交互に用いて処理する。すなわち、関係的証拠のためのGNN、2次元視覚幾何学のためのViT、応答順序のためのGRUである。これらを交互配置することで、空間的・関係的・系列的な証拠が検出器全体で相互作用できるようにする。さらに、幻覚を認識する復号のためのストリーミング版を開発する。これは生成中に幻覚トークンを検出して再サンプリングするものであり、また、検出器をLVLM自身の生成に整合させる自己適応戦略も開発する。多様なLVLMバックボーンにわたり、UniProbeはトークンレベルおよびオブジェクト幻覚検出で最先端の性能を達成する。復号中、標準生成の1.06倍のレイテンシで、オブジェクト幻覚を最大55%削減する。

English

Large Vision-Language Models (LVLMs) achieve impressive visual reasoning and dialogue capabilities, yet frequently hallucinate content unsupported by the visual input. Effective mitigation requires token-level localization, enabling targeted intervention without discarding the entire response. Existing detectors require expensive full-model fine-tuning, rely on external verifiers that ignore the model's generation process, or reduce internal signals to isolated features and hand-crafted statistics, discarding spatial, sequential, and relational structure. We introduce UniProbe, a lightweight, unified, learnable detector that models a frozen LVLM's heterogeneous computational trace from a single forward pass. UniProbe constructs a directed graph over image patches, query tokens, and generated tokens, with attention weights encoding their relations. It processes this trace with alternating structure-aware modules: a GNN for relational evidence, a ViT for 2-D visual geometry, and a GRU for response order. Interleaving them allows spatial, relational, and sequential evidence to interact throughout the detector. We further develop a streaming variant for hallucination-aware decoding, which detects and resamples hallucinated tokens during generation, and a self-adaptation strategy aligning the detector with the LVLM's own generations. Across diverse LVLM backbones, UniProbe achieves state-of-the-art token-level and object-hallucination detection. During decoding, it reduces object hallucinations by up to 55\% at 1.06times the latency of standard generation.