Un'immagine vale più di 77 token di testo: valutazione dei modelli in stile CLIP su descrizioni dense

A Picture is Worth More Than 77 Text Tokens: Evaluating CLIP-Style Models on Dense Captions

December 14, 2023

Autori: Jack Urbanek, Florian Bordes, Pietro Astolfi, Mary Williamson, Vasu Sharma, Adriana Romero-Soriano

cs.AI

Abstract

I metodi di curatela per i massicci dataset visione-linguaggio bilanciano tra dimensione del dataset e qualità. Tuttavia, anche le descrizioni curate di più alta qualità disponibili sono troppo brevi per catturare i dettagli visivi ricchi di un'immagine. Per dimostrare il valore di coppie immagine-testo dense e altamente allineate, abbiamo raccolto il dataset Densely Captioned Images (DCI), contenente 8012 immagini naturali annotate manualmente con descrizioni allineate a maschere che superano in media le 1000 parole ciascuna. Con descrizioni precise e affidabili associate a parti specifiche di un'immagine, possiamo valutare la comprensione del contenuto delle immagini da parte dei modelli visione-linguaggio (VLM) con un nuovo compito che abbina ogni descrizione al suo corrispondente ritaglio. Poiché i modelli attuali sono spesso limitati a 77 token di testo, introduciamo anche una versione riassunta (sDCI) in cui la lunghezza di ogni descrizione è limitata. Mostriamo che le tecniche moderne che fanno progressi sui benchmark standard non corrispondono a un miglioramento significativo sul nostro benchmark basato su sDCI. Infine, ottimizziamo CLIP utilizzando sDCI e mostriamo miglioramenti significativi rispetto alla baseline nonostante un piccolo set di addestramento. Rilasciando il primo dataset di descrizioni dense di immagini annotato manualmente, speriamo di favorire lo sviluppo di nuovi benchmark o ricette di ottimizzazione per la prossima generazione di VLM.

English

Curation methods for massive vision-language datasets trade off between dataset size and quality. However, even the highest quality of available curated captions are far too short to capture the rich visual detail in an image. To show the value of dense and highly-aligned image-text pairs, we collect the Densely Captioned Images (DCI) dataset, containing 8012 natural images human-annotated with mask-aligned descriptions averaging above 1000 words each. With precise and reliable captions associated with specific parts of an image, we can evaluate vision-language models' (VLMs) understanding of image content with a novel task that matches each caption with its corresponding subcrop. As current models are often limited to 77 text tokens, we also introduce a summarized version (sDCI) in which each caption length is limited. We show that modern techniques that make progress on standard benchmarks do not correspond with significant improvement on our sDCI based benchmark. Lastly, we finetune CLIP using sDCI and show significant improvements over the baseline despite a small training set. By releasing the first human annotated dense image captioning dataset, we hope to enable the development of new benchmarks or fine-tuning recipes for the next generation of VLMs to come.