Online Zelfkalibratie tegen Hallucinaties in Visueel-Taalmodellen
Online Self-Calibration Against Hallucination in Vision-Language Models
May 1, 2026
Auteurs: Minghui Chen, Chenxu Yang, Hengjie Zhu, Dayan Wu, Zheng Lin, Qingyi Si
cs.AI
Samenvatting
Grote Vision-Language Modellen (LVLM's) hebben vaak last van hallucinaties, waarbij ze beschrijvingen genereren die visuele details bevatten die niet in de invoerafbeelding aanwezig zijn. Recente methoden voor voorkeursafstemming maken doorgaans gebruik van supervisie gedistilleerd uit sterkere modellen zoals GPT. Dit offline paradigma introduceert echter een Supervisie-Perceptie Mismatch: het studentenmodel wordt gedwongen zich af te stemmen op fijnmazige details die buiten zijn perceptieve vermogen liggen, waardoor het leert te raden in plaats van te zien. Om betrouwbare zelfsupervisie te verkrijgen voor online leren, identificeren we een Generatief-Discriminatief Kloof binnen LVLM's, waarbij modellen een hogere nauwkeurigheid vertonen bij discriminatieve verificatie dan bij open-einde generatie. Gebruikmakend van deze capaciteit, stellen we Online ZelfCAlibRatie (OSCAR) voor, een raamwerk dat Monte Carlo Boom Zoektocht integreert met een Dual-Granulariteit Beloningsmechanisme om voorkeursdata te construeren en het model iteratief verfijnt via Directe Voorkeursoptimalisatie. Uitgebreide experimenten tonen aan dat OSCAR state-of-the-art prestaties bereikt op hallucinatie benchmarks, terwijl het algemene multimodale capaciteiten verbetert.
English
Large Vision-Language Models (LVLMs) often suffer from hallucinations, generating descriptions that include visual details absent from the input image. Recent preference alignment methods typically rely on supervision distilled from stronger models such as GPT. However, this offline paradigm introduces a Supervision-Perception Mismatch: the student model is forced to align with fine-grained details beyond its perceptual capacity, learning to guess rather than to see. To obtain reliable self-supervision for online learning, we identify a Generative-Discriminative Gap within LVLMs, where models exhibit higher accuracy on discriminative verification than open-ended generation. Leveraging this capability, we propose Online Self-CAlibRation (OSCAR), a framework that integrates Monte Carlo Tree Search with a Dual-Granularity Reward Mechanism to construct preference data and iteratively refines the model via Direct Preference Optimization. Extensive experiments demonstrate that OSCAR achieves state-of-the-art performance on hallucination benchmarks while improving general multimodal capabilities.