Картина стоит больше, чем 77 текстовых токенов: оценка моделей в стиле CLIP на основе плотных описаний
A Picture is Worth More Than 77 Text Tokens: Evaluating CLIP-Style Models on Dense Captions
December 14, 2023
Авторы: Jack Urbanek, Florian Bordes, Pietro Astolfi, Mary Williamson, Vasu Sharma, Adriana Romero-Soriano
cs.AI
Аннотация
Методы курирования крупномасштабных наборов данных для задач "визуальный язык" требуют компромисса между размером набора данных и его качеством. Однако даже самые качественные доступные аннотации к изображениям оказываются слишком краткими, чтобы передать всё богатство визуальных деталей. Чтобы продемонстрировать ценность плотных и точно согласованных пар "изображение-текст", мы собрали набор данных Densely Captioned Images (DCI), содержащий 8012 натуральных изображений, аннотированных человеком с описаниями, привязанными к маскам, где каждое описание в среднем превышает 1000 слов. Благодаря точным и надёжным аннотациям, связанным с конкретными частями изображения, мы можем оценить понимание моделей "визуальный язык" (VLMs) с помощью новой задачи, которая сопоставляет каждое описание с соответствующим фрагментом изображения. Поскольку современные модели часто ограничены 77 текстовыми токенами, мы также представляем сокращённую версию (sDCI), в которой длина каждого описания ограничена. Мы показываем, что современные методы, демонстрирующие прогресс на стандартных бенчмарках, не приводят к значительному улучшению на нашем бенчмарке, основанном на sDCI. Наконец, мы дообучили модель CLIP с использованием sDCI и показали значительное улучшение по сравнению с базовой моделью, несмотря на небольшой обучающий набор. Выпуская первый набор данных с плотными аннотациями изображений, созданными человеком, мы надеемся способствовать разработке новых бенчмарков или рецептов дообучения для следующего поколения моделей "визуальный язык".
English
Curation methods for massive vision-language datasets trade off between
dataset size and quality. However, even the highest quality of available
curated captions are far too short to capture the rich visual detail in an
image. To show the value of dense and highly-aligned image-text pairs, we
collect the Densely Captioned Images (DCI) dataset, containing 8012 natural
images human-annotated with mask-aligned descriptions averaging above 1000
words each. With precise and reliable captions associated with specific parts
of an image, we can evaluate vision-language models' (VLMs) understanding of
image content with a novel task that matches each caption with its
corresponding subcrop. As current models are often limited to 77 text tokens,
we also introduce a summarized version (sDCI) in which each caption length is
limited. We show that modern techniques that make progress on standard
benchmarks do not correspond with significant improvement on our sDCI based
benchmark. Lastly, we finetune CLIP using sDCI and show significant
improvements over the baseline despite a small training set. By releasing the
first human annotated dense image captioning dataset, we hope to enable the
development of new benchmarks or fine-tuning recipes for the next generation of
VLMs to come.