Ottimizzazione Simmetrica del Contrasto Visivo: Allineamento dei Modelli Visione-Linguaggio con Immagini Contrastive Minime

Symmetrical Visual Contrastive Optimization: Aligning Vision-Language Models with Minimal Contrastive Images

February 19, 2025

Autori: Shengguang Wu, Fan-Yun Sun, Kaiyue Wen, Nick Haber

cs.AI

Abstract

Studi recenti hanno dimostrato che i Modelli Visione-Linguaggio di grandi dimensioni (VLMs) tendono a trascurare il contenuto delle immagini e a fare eccessivo affidamento sui preconcetti del modello linguistico, portando a errori in compiti visivamente ancorati e a fenomeni di allucinazione. Ipotesizziamo che questo problema derivi dal fatto che i VLMs esistenti non sono esplicitamente addestrati a generare testi accuratamente ancorati a dettagli fini delle immagini. Per migliorare il feedback visivo durante l'addestramento dei VLMs, proponiamo S-VCO (Ottimizzazione Contrastiva Visiva Simmetrica), un nuovo obiettivo di fine-tuning che guida il modello a catturare dettagli visivi importanti e ad allinearli con i corrispondenti token testuali. Per facilitare ulteriormente questo allineamento dettagliato, introduciamo MVC, un dataset di coppie immagine-testo costruito filtrando e aumentando automaticamente dati visivi controfattuali per sfidare il modello con casi contrastivi difficili che coinvolgono Contrasti Visivi Minimi. Gli esperimenti dimostrano che il nostro metodo migliora costantemente le prestazioni dei VLMs su diversi benchmark che coprono varie abilità e domini, ottenendo una riduzione fino al 22% delle allucinazioni e significativi guadagni in compiti centrati sulla visione e in compiti generali. In particolare, questi miglioramenti diventano sempre più evidenti nei benchmark con una maggiore dipendenza visiva. In sintesi, S-VCO offre un significativo miglioramento delle prestazioni dei VLMs in compiti dipendenti dalla visione, mantenendo o addirittura migliorando le capacità generali del modello. Rendiamo disponibile il nostro codice su https://s-vco.github.io/.

English

Recent studies have shown that Large Vision-Language Models (VLMs) tend to neglect image content and over-rely on language-model priors, resulting in errors in visually grounded tasks and hallucinations. We hypothesize that this issue arises because existing VLMs are not explicitly trained to generate texts that are accurately grounded in fine-grained image details. To enhance visual feedback during VLM training, we propose S-VCO (Symmetrical Visual Contrastive Optimization), a novel finetuning objective that steers the model toward capturing important visual details and aligning them with corresponding text tokens. To further facilitate this detailed alignment, we introduce MVC, a paired image-text dataset built by automatically filtering and augmenting visual counterfactual data to challenge the model with hard contrastive cases involving Minimal Visual Contrasts. Experiments show that our method consistently improves VLM performance across diverse benchmarks covering various abilities and domains, achieving up to a 22% reduction in hallucinations, and significant gains in vision-centric and general tasks. Notably, these improvements become increasingly pronounced in benchmarks with higher visual dependency. In short, S-VCO offers a significant enhancement of VLM's visually-dependent task performance while retaining or even improving the model's general abilities. We opensource our code at https://s-vco.github.io/