Symmetrisch Visueel Contrastief Optimaliseren: Het Uitlijnen van Visie-Taalmodellen met Minimale Contrastieve Beelden

Symmetrical Visual Contrastive Optimization: Aligning Vision-Language Models with Minimal Contrastive Images

February 19, 2025

Auteurs: Shengguang Wu, Fan-Yun Sun, Kaiyue Wen, Nick Haber

cs.AI

Samenvatting

Recente studies hebben aangetoond dat grote visueel-taalmodelen (VLMs) de neiging hebben om beeldinhoud te negeren en te veel te vertrouwen op taalmodelprioriteiten, wat resulteert in fouten in visueel verankerde taken en hallucinaties. We veronderstellen dat dit probleem ontstaat omdat bestaande VLMs niet expliciet zijn getraind om teksten te genereren die nauwkeurig verankerd zijn in fijnmazige beelddetails. Om visuele feedback tijdens de VLM-training te verbeteren, stellen we S-VCO (Symmetrical Visual Contrastive Optimization) voor, een nieuwe finetuning-doelstelling die het model aanstuurt om belangrijke visuele details vast te leggen en af te stemmen op corresponderende teksttokens. Om deze gedetailleerde afstemming verder te vergemakkelijken, introduceren we MVC, een gepaarde beeld-tekstdataset die is opgebouwd door automatisch visuele tegenfeitelijke gegevens te filteren en aan te vullen om het model uit te dagen met moeilijke contrastgevallen die betrekking hebben op minimale visuele contrasten. Experimenten tonen aan dat onze methode de prestaties van VLM's consistent verbetert over diverse benchmarks die verschillende vaardigheden en domeinen bestrijken, met een reductie van hallucinaties tot wel 22% en aanzienlijke verbeteringen in visiegerichte en algemene taken. Opmerkelijk is dat deze verbeteringen steeds duidelijker worden in benchmarks met een hogere visuele afhankelijkheid. Kortom, S-VCO biedt een aanzienlijke verbetering van de visueel afhankelijke taakprestaties van VLM's, terwijl de algemene vaardigheden van het model behouden blijven of zelfs verbeterd worden. We hebben onze code opensource gemaakt op https://s-vco.github.io/.

English

Recent studies have shown that Large Vision-Language Models (VLMs) tend to neglect image content and over-rely on language-model priors, resulting in errors in visually grounded tasks and hallucinations. We hypothesize that this issue arises because existing VLMs are not explicitly trained to generate texts that are accurately grounded in fine-grained image details. To enhance visual feedback during VLM training, we propose S-VCO (Symmetrical Visual Contrastive Optimization), a novel finetuning objective that steers the model toward capturing important visual details and aligning them with corresponding text tokens. To further facilitate this detailed alignment, we introduce MVC, a paired image-text dataset built by automatically filtering and augmenting visual counterfactual data to challenge the model with hard contrastive cases involving Minimal Visual Contrasts. Experiments show that our method consistently improves VLM performance across diverse benchmarks covering various abilities and domains, achieving up to a 22% reduction in hallucinations, and significant gains in vision-centric and general tasks. Notably, these improvements become increasingly pronounced in benchmarks with higher visual dependency. In short, S-VCO offers a significant enhancement of VLM's visually-dependent task performance while retaining or even improving the model's general abilities. We opensource our code at https://s-vco.github.io/