Symmetrische visuelle Kontrastoptimierung: Ausrichtung von Vision-Language-Modellen mit minimalen Kontrastbildern

Symmetrical Visual Contrastive Optimization: Aligning Vision-Language Models with Minimal Contrastive Images

February 19, 2025

Autoren: Shengguang Wu, Fan-Yun Sun, Kaiyue Wen, Nick Haber

cs.AI

Zusammenfassung

Aktuelle Studien haben gezeigt, dass große visuell-sprachliche Modelle (VLMs) dazu neigen, Bildinhalte zu vernachlässigen und sich übermäßig auf sprachmodellbasierte Prioritäten zu verlassen, was zu Fehlern in visuell fundierten Aufgaben und Halluzinationen führt. Wir vermuten, dass dieses Problem auftritt, weil bestehende VLMs nicht explizit darauf trainiert werden, Texte zu generieren, die präzise in fein abgestimmte Bilddetails eingebettet sind. Um das visuelle Feedback während des VLM-Trainings zu verbessern, schlagen wir S-VCO (Symmetrische Visuelle Kontrastive Optimierung) vor, ein neuartiges Feinabstimmungsziel, das das Modell dazu anleitet, wichtige visuelle Details zu erfassen und sie mit entsprechenden Text-Tokens abzugleichen. Um diese detaillierte Ausrichtung weiter zu fördern, führen wir MVC ein, einen gepaarten Bild-Text-Datensatz, der durch automatisches Filtern und Erweitern visueller kontrafaktischer Daten erstellt wurde, um das Modell mit schwierigen kontrastiven Fällen zu konfrontieren, die minimale visuelle Kontraste beinhalten. Experimente zeigen, dass unsere Methode die VLM-Leistung über diverse Benchmarks hinweg, die verschiedene Fähigkeiten und Domänen abdecken, konsequent verbessert, wobei eine Reduzierung der Halluzinationen um bis zu 22 % sowie signifikante Fortschritte in visuell-zentrierten und allgemeinen Aufgaben erzielt werden. Bemerkenswerterweise werden diese Verbesserungen in Benchmarks mit höherer visueller Abhängigkeit zunehmend deutlicher. Kurz gesagt bietet S-VCO eine signifikante Steigerung der visuell abhängigen Aufgabenleistung von VLMs, während die allgemeinen Fähigkeiten des Modells erhalten bleiben oder sogar verbessert werden. Wir stellen unseren Code unter https://s-vco.github.io/ als Open Source zur Verfügung.

English

Recent studies have shown that Large Vision-Language Models (VLMs) tend to neglect image content and over-rely on language-model priors, resulting in errors in visually grounded tasks and hallucinations. We hypothesize that this issue arises because existing VLMs are not explicitly trained to generate texts that are accurately grounded in fine-grained image details. To enhance visual feedback during VLM training, we propose S-VCO (Symmetrical Visual Contrastive Optimization), a novel finetuning objective that steers the model toward capturing important visual details and aligning them with corresponding text tokens. To further facilitate this detailed alignment, we introduce MVC, a paired image-text dataset built by automatically filtering and augmenting visual counterfactual data to challenge the model with hard contrastive cases involving Minimal Visual Contrasts. Experiments show that our method consistently improves VLM performance across diverse benchmarks covering various abilities and domains, achieving up to a 22% reduction in hallucinations, and significant gains in vision-centric and general tasks. Notably, these improvements become increasingly pronounced in benchmarks with higher visual dependency. In short, S-VCO offers a significant enhancement of VLM's visually-dependent task performance while retaining or even improving the model's general abilities. We opensource our code at https://s-vco.github.io/