Auto calibração online contra alucinações em modelos de visão e linguagem

Resumo

Os Grandes Modelos de Visão e Linguagem (LVLMs) frequentemente sofrem de alucinações, gerando descrições que incluem detalhes visuais ausentes da imagem de entrada. Os métodos recentes de alinhamento de preferência geralmente dependem de supervisão destilada de modelos mais robustos, como o GPT. No entanto, este paradigma offline introduz um Desajuste de Supervisão-Percepção: o modelo estudante é forçado a alinhar-se com detalhes refinados além da sua capacidade perceptiva, aprendendo a adivinhar em vez de a ver. Para obter uma autossupervisão confiável para aprendizagem online, identificamos um Fosso Generativo-Discriminativo nos LVLMs, onde os modelos exibem maior precisão na verificação discriminativa do que na geração de resposta aberta. Aproveitando esta capacidade, propomos a Autocalibração Online (OSCAR), uma estrutura que integra a Pesquisa em Árvore de Monte Carlo com um Mecanismo de Recompensa de Granularidade Dupla para construir dados de preferência e refinar iterativamente o modelo através da Otimização Direta de Preferência. Experimentos extensivos demonstram que o OSCAR alcança desempenho de ponta em benchmarks de alucinação, melhorando simultaneamente as capacidades multimodais gerais.

English

Large Vision-Language Models (LVLMs) often suffer from hallucinations, generating descriptions that include visual details absent from the input image. Recent preference alignment methods typically rely on supervision distilled from stronger models such as GPT. However, this offline paradigm introduces a Supervision-Perception Mismatch: the student model is forced to align with fine-grained details beyond its perceptual capacity, learning to guess rather than to see. To obtain reliable self-supervision for online learning, we identify a Generative-Discriminative Gap within LVLMs, where models exhibit higher accuracy on discriminative verification than open-ended generation. Leveraging this capability, we propose Online Self-CAlibRation (OSCAR), a framework that integrates Monte Carlo Tree Search with a Dual-Granularity Reward Mechanism to construct preference data and iteratively refines the model via Direct Preference Optimization. Extensive experiments demonstrate that OSCAR achieves state-of-the-art performance on hallucination benchmarks while improving general multimodal capabilities.