SpanCalib-VLM: 비전-언어 모델에서의 보정된 환각 스팬 탐지

초록

대규모 비전-언어 모델(LVLM)의 환각을 탐지하려면 정확한 스팬 위치 파악과 잘 보정된 신뢰도 점수가 모두 필요하다. 미세 조정된 생성형 VLM은 환각 텍스트 스팬을 식별하는 데 뛰어나지만 과신과 높은 추론 지연 시간을 보인다. 판별적 시퀀스 태거는 결정적(일정한) 속도와 우수한 보정 성능을 제공하지만, 보수적인 스팬 재현율을 나타낸다. 우리는 SHROOM-Visions 공유 과제를 위해 하이브리드 이중 시스템인 SpanCalib-VLM을 제시한다. 이 시스템은 XLM-RoBERTa-Large와 SigLIP 비전 인코더를 교차 주의를 통해 융합한 다중 모달 시퀀스 태거와, 미세 조정된 생성형 VLM(Qwen3.5-4B-SHROOM-SFT)을 결합한다. Union-Calibrated 퓨전 전략을 통해 생성 모델의 후보 스팬을 시퀀스 태거의 보정된 확률로 재점수화한다. SHROOM-Visions 영어 평가 분할에서 우리의 앙상블은 피어슨 보정 상관계수 0.41, 전체 IoU 0.39를 달성했으며, 클린 응답 IoU는 0.91, 전체 탐지 정확도는 70.7%를 기록했다. 우리는 모델 가중치와 코드를 공개한다.

English

Detecting hallucinations in Large Vision-Language Models (LVLMs) requires both accurate span localization and well-calibrated confidence scores. Fine-tuned generative VLMs excel at identifying hallucinated text spans but suffer from overconfidence and high inference latency. Discriminative sequence taggers offer deterministic speed and superior calibration but exhibit conservative span recall. We present SpanCalib-VLM, a hybrid dual-system for the SHROOM-Visions Shared Task that combines a multimodal sequence tagger, consisting of XLM-RoBERTa-Large fused with a SigLIP vision encoder via cross-attention, with our fine-tuned generative VLM (Qwen3.5-4B-SHROOM-SFT). Through a Union-Calibrated Fusion strategy, candidate spans from the generative model are re-scored with calibrated probabilities from the sequence tagger. On the SHROOM-Visions English evaluation split, our ensemble achieves a Pearson calibration correlation of 0.41 and an overall IoU of 0.39, with a clean-response IoU of 0.91} and overall detection accuracy of 70.7%. We make our model weights and code publicly available.