Auto-étalonnage en ligne contre les hallucinations dans les modèles vision-langage

Online Self-Calibration Against Hallucination in Vision-Language Models

May 1, 2026

Auteurs: Minghui Chen, Chenxu Yang, Hengjie Zhu, Dayan Wu, Zheng Lin, Qingyi Si

cs.AI

Résumé

Les grands modèles de vision et langage (LVLM) souffrent souvent d'hallucinations, générant des descriptions incluant des détails visuels absents de l'image d'entrée. Les méthodes récentes d'alignement des préférences reposent généralement sur une supervision distillée à partir de modèles plus puissants comme GPT. Cependant, ce paradigme hors ligne introduit un Décalage Supervision-Perception : le modèle étudiant est contraint de s'aligner sur des détails granulaires dépassant ses capacités perceptives, apprenant à deviner plutôt qu'à voir. Pour obtenir une auto-supervision fiable pour l'apprentissage en ligne, nous identifions un Écart Génération-Discrimination au sein des LVLM, où les modèles présentent une précision plus élevée en vérification discriminative qu'en génération ouverte. Tirant parti de cette capacité, nous proposons l'Auto-CalibRation en Ligne (OSCAR), un framework intégrant la recherche arborescente de Monte Carlo avec un mécanisme de récompense à double granularité pour construire des données de préférence et affiner itérativement le modèle via l'Optimisation Directe des Préférences. Des expériences approfondies démontrent qu'OSCAR atteint des performances de pointe sur les benchmarks d'hallucination tout en améliorant les capacités multimodales générales.

English

Large Vision-Language Models (LVLMs) often suffer from hallucinations, generating descriptions that include visual details absent from the input image. Recent preference alignment methods typically rely on supervision distilled from stronger models such as GPT. However, this offline paradigm introduces a Supervision-Perception Mismatch: the student model is forced to align with fine-grained details beyond its perceptual capacity, learning to guess rather than to see. To obtain reliable self-supervision for online learning, we identify a Generative-Discriminative Gap within LVLMs, where models exhibit higher accuracy on discriminative verification than open-ended generation. Leveraging this capability, we propose Online Self-CAlibRation (OSCAR), a framework that integrates Monte Carlo Tree Search with a Dual-Granularity Reward Mechanism to construct preference data and iteratively refines the model via Direct Preference Optimization. Extensive experiments demonstrate that OSCAR achieves state-of-the-art performance on hallucination benchmarks while improving general multimodal capabilities.