Optimización de Contraste Visual Simétrico: Alineación de Modelos de Visión-Lenguaje con Imágenes de Contraste Mínimas

Symmetrical Visual Contrastive Optimization: Aligning Vision-Language Models with Minimal Contrastive Images

February 19, 2025

Autores: Shengguang Wu, Fan-Yun Sun, Kaiyue Wen, Nick Haber

cs.AI

Resumen

Estudios recientes han demostrado que los Modelos de Visión y Lenguaje a Gran Escala (VLMs, por sus siglas en inglés) tienden a descuidar el contenido de las imágenes y a depender en exceso de los conocimientos previos del modelo de lenguaje, lo que resulta en errores en tareas visualmente fundamentadas y en alucinaciones. Nuestra hipótesis es que este problema surge porque los VLMs existentes no están explícitamente entrenados para generar textos que se basen con precisión en detalles finos de las imágenes. Para mejorar la retroalimentación visual durante el entrenamiento de los VLMs, proponemos S-VCO (Optimización Visual Contrastiva Simétrica), un nuevo objetivo de ajuste fino que guía al modelo hacia la captura de detalles visuales importantes y su alineación con los tokens de texto correspondientes. Para facilitar aún más esta alineación detallada, presentamos MVC, un conjunto de datos de pares imagen-texto construido mediante el filtrado y aumento automático de datos visuales contrafactuales, con el fin de desafiar al modelo con casos contrastivos difíciles que involucran Contrastes Visuales Mínimos. Los experimentos muestran que nuestro método mejora consistentemente el rendimiento de los VLMs en diversos puntos de referencia que cubren múltiples habilidades y dominios, logrando una reducción de hasta el 22% en alucinaciones y avances significativos en tareas centradas en la visión y en tareas generales. Cabe destacar que estas mejoras se vuelven más pronunciadas en puntos de referencia con mayor dependencia visual. En resumen, S-VCO ofrece una mejora significativa en el rendimiento de los VLMs en tareas dependientes de la visión, al mismo tiempo que mantiene o incluso mejora las capacidades generales del modelo. Hemos publicado nuestro código en https://s-vco.github.io/.

English

Recent studies have shown that Large Vision-Language Models (VLMs) tend to neglect image content and over-rely on language-model priors, resulting in errors in visually grounded tasks and hallucinations. We hypothesize that this issue arises because existing VLMs are not explicitly trained to generate texts that are accurately grounded in fine-grained image details. To enhance visual feedback during VLM training, we propose S-VCO (Symmetrical Visual Contrastive Optimization), a novel finetuning objective that steers the model toward capturing important visual details and aligning them with corresponding text tokens. To further facilitate this detailed alignment, we introduce MVC, a paired image-text dataset built by automatically filtering and augmenting visual counterfactual data to challenge the model with hard contrastive cases involving Minimal Visual Contrasts. Experiments show that our method consistently improves VLM performance across diverse benchmarks covering various abilities and domains, achieving up to a 22% reduction in hallucinations, and significant gains in vision-centric and general tasks. Notably, these improvements become increasingly pronounced in benchmarks with higher visual dependency. In short, S-VCO offers a significant enhancement of VLM's visually-dependent task performance while retaining or even improving the model's general abilities. We opensource our code at https://s-vco.github.io/