Optimisation Contrastive Visuelle Symétrique : Alignement des Modèles Vision-Langage avec un Nombre Minimal d'Images Contrastives

Symmetrical Visual Contrastive Optimization: Aligning Vision-Language Models with Minimal Contrastive Images

February 19, 2025

Auteurs: Shengguang Wu, Fan-Yun Sun, Kaiyue Wen, Nick Haber

cs.AI

Résumé

Des études récentes ont montré que les grands modèles vision-langage (VLMs) ont tendance à négliger le contenu des images et à trop s'appuyer sur les a priori des modèles de langage, ce qui entraîne des erreurs dans les tâches visuellement ancrées et des hallucinations. Nous émettons l'hypothèse que ce problème survient parce que les VLMs existants ne sont pas explicitement entraînés à générer des textes qui s'appuient de manière précise sur des détails fins des images. Pour améliorer le retour visuel lors de l'entraînement des VLMs, nous proposons S-VCO (Symmetrical Visual Contrastive Optimization), un nouvel objectif de fine-tuning qui guide le modèle pour capturer des détails visuels importants et les aligner avec les tokens de texte correspondants. Pour faciliter davantage cet alignement détaillé, nous introduisons MVC, un ensemble de données image-texte appariées construit en filtrant et en augmentant automatiquement des données visuelles contrefactuelles afin de confronter le modèle à des cas contrastifs difficiles impliquant des Contrastes Visuels Minimaux. Les expériences montrent que notre méthode améliore de manière constante les performances des VLMs sur divers benchmarks couvrant différentes capacités et domaines, atteignant jusqu'à une réduction de 22 % des hallucinations et des gains significatifs dans les tâches centrées sur la vision et les tâches générales. Notamment, ces améliorations deviennent de plus en plus prononcées dans les benchmarks ayant une plus grande dépendance visuelle. En résumé, S-VCO offre une amélioration significative des performances des VLMs dans les tâches dépendantes de la vision tout en conservant, voire en améliorant, les capacités générales du modèle. Nous mettons notre code en open source à l'adresse https://s-vco.github.io/

English

Recent studies have shown that Large Vision-Language Models (VLMs) tend to neglect image content and over-rely on language-model priors, resulting in errors in visually grounded tasks and hallucinations. We hypothesize that this issue arises because existing VLMs are not explicitly trained to generate texts that are accurately grounded in fine-grained image details. To enhance visual feedback during VLM training, we propose S-VCO (Symmetrical Visual Contrastive Optimization), a novel finetuning objective that steers the model toward capturing important visual details and aligning them with corresponding text tokens. To further facilitate this detailed alignment, we introduce MVC, a paired image-text dataset built by automatically filtering and augmenting visual counterfactual data to challenge the model with hard contrastive cases involving Minimal Visual Contrasts. Experiments show that our method consistently improves VLM performance across diverse benchmarks covering various abilities and domains, achieving up to a 22% reduction in hallucinations, and significant gains in vision-centric and general tasks. Notably, these improvements become increasingly pronounced in benchmarks with higher visual dependency. In short, S-VCO offers a significant enhancement of VLM's visually-dependent task performance while retaining or even improving the model's general abilities. We opensource our code at https://s-vco.github.io/