Ein Bild ist mehr wert als 77 Text-Tokens: Evaluierung von CLIP-artigen Modellen anhand von dichten Bildbeschreibungen

A Picture is Worth More Than 77 Text Tokens: Evaluating CLIP-Style Models on Dense Captions

December 14, 2023

Autoren: Jack Urbanek, Florian Bordes, Pietro Astolfi, Mary Williamson, Vasu Sharma, Adriana Romero-Soriano

cs.AI

Zusammenfassung

Kurationsmethoden für massive Vision-Sprache-Datensätze stehen vor einem Kompromiss zwischen der Größe des Datensatzes und seiner Qualität. Allerdings sind selbst die qualitativ hochwertigsten verfügbaren kuratierten Bildbeschreibungen bei weitem zu kurz, um die reichhaltigen visuellen Details eines Bildes zu erfassen. Um den Wert von dichten und hochgradig ausgerichteten Bild-Text-Paaren zu demonstrieren, haben wir den Densely Captioned Images (DCI)-Datensatz erstellt, der 8012 natürliche Bilder enthält, die von Menschen mit maskenausgerichteten Beschreibungen annotiert wurden, die im Durchschnitt über 1000 Wörter umfassen. Mit präzisen und zuverlässigen Beschreibungen, die spezifischen Bildbereichen zugeordnet sind, können wir das Verständnis von Vision-Sprache-Modellen (VLMs) für Bildinhalte mit einer neuartigen Aufgabe evaluieren, bei der jede Beschreibung mit ihrem entsprechenden Bildausschnitt abgeglichen wird. Da aktuelle Modelle oft auf 77 Text-Token beschränkt sind, führen wir auch eine zusammengefasste Version (sDCI) ein, bei der die Länge jeder Beschreibung begrenzt ist. Wir zeigen, dass moderne Techniken, die Fortschritte bei Standard-Benchmarks erzielen, nicht mit einer signifikanten Verbesserung bei unserem sDCI-basierten Benchmark korrespondieren. Schließlich finetunen wir CLIP mit sDCI und zeigen deutliche Verbesserungen gegenüber der Baseline trotz eines kleinen Trainingsdatensatzes. Mit der Veröffentlichung des ersten von Menschen annotierten dichten Bildbeschreibungsdatensatzes hoffen wir, die Entwicklung neuer Benchmarks oder Feinabstimmungsmethoden für die nächste Generation von VLMs zu ermöglichen.

English

Curation methods for massive vision-language datasets trade off between dataset size and quality. However, even the highest quality of available curated captions are far too short to capture the rich visual detail in an image. To show the value of dense and highly-aligned image-text pairs, we collect the Densely Captioned Images (DCI) dataset, containing 8012 natural images human-annotated with mask-aligned descriptions averaging above 1000 words each. With precise and reliable captions associated with specific parts of an image, we can evaluate vision-language models' (VLMs) understanding of image content with a novel task that matches each caption with its corresponding subcrop. As current models are often limited to 77 text tokens, we also introduce a summarized version (sDCI) in which each caption length is limited. We show that modern techniques that make progress on standard benchmarks do not correspond with significant improvement on our sDCI based benchmark. Lastly, we finetune CLIP using sDCI and show significant improvements over the baseline despite a small training set. By releasing the first human annotated dense image captioning dataset, we hope to enable the development of new benchmarks or fine-tuning recipes for the next generation of VLMs to come.