Une image vaut plus que 77 tokens de texte : Évaluation des modèles de type CLIP sur les descriptions denses
A Picture is Worth More Than 77 Text Tokens: Evaluating CLIP-Style Models on Dense Captions
December 14, 2023
Auteurs: Jack Urbanek, Florian Bordes, Pietro Astolfi, Mary Williamson, Vasu Sharma, Adriana Romero-Soriano
cs.AI
Résumé
Les méthodes de curation pour les ensembles de données massifs en vision et langage doivent trouver un équilibre entre la taille des données et leur qualité. Cependant, même les légendes les mieux annotées disponibles sont bien trop courtes pour capturer la richesse des détails visuels d'une image. Pour démontrer la valeur des paires image-texte denses et fortement alignées, nous avons constitué le jeu de données Densely Captioned Images (DCI), contenant 8012 images naturelles annotées manuellement avec des descriptions alignées sur des masques, dépassant en moyenne 1000 mots chacune. Grâce à des légendes précises et fiables associées à des parties spécifiques d'une image, nous pouvons évaluer la compréhension du contenu visuel par les modèles vision-langage (VLMs) via une nouvelle tâche consistant à associer chaque légende à son sous-cadre correspondant. Comme les modèles actuels sont souvent limités à 77 tokens textuels, nous introduisons également une version résumée (sDCI) où la longueur de chaque légende est limitée. Nous montrons que les techniques modernes qui progressent sur les benchmarks standards ne correspondent pas à une amélioration significative sur notre benchmark basé sur sDCI. Enfin, nous affinons CLIP en utilisant sDCI et montrons des améliorations significatives par rapport à la ligne de base malgré un petit ensemble d'entraînement. En publiant le premier jeu de données de légendes denses annotées manuellement, nous espérons permettre le développement de nouveaux benchmarks ou méthodes de fine-tuning pour la prochaine génération de VLMs.
English
Curation methods for massive vision-language datasets trade off between
dataset size and quality. However, even the highest quality of available
curated captions are far too short to capture the rich visual detail in an
image. To show the value of dense and highly-aligned image-text pairs, we
collect the Densely Captioned Images (DCI) dataset, containing 8012 natural
images human-annotated with mask-aligned descriptions averaging above 1000
words each. With precise and reliable captions associated with specific parts
of an image, we can evaluate vision-language models' (VLMs) understanding of
image content with a novel task that matches each caption with its
corresponding subcrop. As current models are often limited to 77 text tokens,
we also introduce a summarized version (sDCI) in which each caption length is
limited. We show that modern techniques that make progress on standard
benchmarks do not correspond with significant improvement on our sDCI based
benchmark. Lastly, we finetune CLIP using sDCI and show significant
improvements over the baseline despite a small training set. By releasing the
first human annotated dense image captioning dataset, we hope to enable the
development of new benchmarks or fine-tuning recipes for the next generation of
VLMs to come.