SpanCalib-VLM: 校正された視覚言語モデルにおける幻覚スパン検出

要旨

大規模視覚言語モデル（LVLM）における幻覚の検出には、正確なスパン位置特定と、適切にキャリブレーションされた信頼度スコアの両方が必要である。ファインチューニングされた生成型VLMは、幻覚を含むテキストスパンの特定に優れているが、過剰信頼と高い推論レイテンシという問題を抱える。識別型系列タガーは、決定的な推論速度と優れたキャリブレーションを提供する一方、スパン再現率は保守的である。我々は、SHROOM-Visions Shared Task 向けのハイブリッド二重システムである SpanCalib-VLM を提案する。本システムは、XLM-RoBERTa-Large を SigLIP ビジョンエンコーダとクロスアテンションで融合したマルチモーダル系列タガーと、我々がファインチューニングした生成型VLM（Qwen3.5-4B-SHROOM-SFT）を組み合わせたものである。Union-Calibrated Fusion 戦略により、生成モデルからの候補スパンは、系列タガーからのキャリブレーションされた確率で再スコアリングされる。SHROOM-Visions 英語評価分割において、我々のアンサンブルは、ピアソン・キャリブレーション相関 0.41、全体的なIoU 0.39、クリーン応答のIoU 0.91、全体的な検出精度 70.7% を達成した。我々は、モデル重みとコードを公開している。

English

Detecting hallucinations in Large Vision-Language Models (LVLMs) requires both accurate span localization and well-calibrated confidence scores. Fine-tuned generative VLMs excel at identifying hallucinated text spans but suffer from overconfidence and high inference latency. Discriminative sequence taggers offer deterministic speed and superior calibration but exhibit conservative span recall. We present SpanCalib-VLM, a hybrid dual-system for the SHROOM-Visions Shared Task that combines a multimodal sequence tagger, consisting of XLM-RoBERTa-Large fused with a SigLIP vision encoder via cross-attention, with our fine-tuned generative VLM (Qwen3.5-4B-SHROOM-SFT). Through a Union-Calibrated Fusion strategy, candidate spans from the generative model are re-scored with calibrated probabilities from the sequence tagger. On the SHROOM-Visions English evaluation split, our ensemble achieves a Pearson calibration correlation of 0.41 and an overall IoU of 0.39, with a clean-response IoU of 0.91} and overall detection accuracy of 70.7%. We make our model weights and code publicly available.