Autocalibración en Línea Contra las Alucinaciones en Modelos de Visión y Lenguaje

Online Self-Calibration Against Hallucination in Vision-Language Models

May 1, 2026

Autores: Minghui Chen, Chenxu Yang, Hengjie Zhu, Dayan Wu, Zheng Lin, Qingyi Si

cs.AI

Resumen

Los Grandes Modelos de Visión y Lenguaje (LVLM, por sus siglas en inglés) a menudo sufren de alucinaciones, generando descripciones que incluyen detalles visuales ausentes en la imagen de entrada. Los métodos recientes de alineación de preferencias suelen depender de supervisión destilada de modelos más potentes como GPT. Sin embargo, este paradigma offline introduce un Desajuste Supervisión-Percepción: se fuerza al modelo estudiante a alinearse con detalles de grano fino que están más allá de su capacidad perceptiva, aprendiendo a adivinar en lugar de a ver. Para obtener una autosupervisión confiable para el aprendizaje online, identificamos una Brecha Generativa-Discriminativa dentro de los LVLM, donde los modelos exhiben una mayor precisión en la verificación discriminativa que en la generación de respuestas abiertas. Aprovechando esta capacidad, proponemos la AutoCalibración Online (OSCAR), un marco que integra la Búsqueda en Árbol de Montecarlo con un Mecanismo de Recompensa de Doble Granularidad para construir datos de preferencia y refina iterativamente el modelo mediante Optimización Directa de Preferencias. Experimentos exhaustivos demuestran que OSCAR logra un rendimiento de vanguardia en benchmarks de alucinaciones, a la vez que mejora las capacidades multimodales generales.

English

Large Vision-Language Models (LVLMs) often suffer from hallucinations, generating descriptions that include visual details absent from the input image. Recent preference alignment methods typically rely on supervision distilled from stronger models such as GPT. However, this offline paradigm introduces a Supervision-Perception Mismatch: the student model is forced to align with fine-grained details beyond its perceptual capacity, learning to guess rather than to see. To obtain reliable self-supervision for online learning, we identify a Generative-Discriminative Gap within LVLMs, where models exhibit higher accuracy on discriminative verification than open-ended generation. Leveraging this capability, we propose Online Self-CAlibRation (OSCAR), a framework that integrates Monte Carlo Tree Search with a Dual-Granularity Reward Mechanism to construct preference data and iteratively refines the model via Direct Preference Optimization. Extensive experiments demonstrate that OSCAR achieves state-of-the-art performance on hallucination benchmarks while improving general multimodal capabilities.