1枚の画像は77テキストトークン以上の価値がある：CLIPスタイルモデルの高密度キャプション評価

A Picture is Worth More Than 77 Text Tokens: Evaluating CLIP-Style Models on Dense Captions

December 14, 2023

著者: Jack Urbanek, Florian Bordes, Pietro Astolfi, Mary Williamson, Vasu Sharma, Adriana Romero-Soriano

cs.AI

要旨

大規模な視覚言語データセットのキュレーション手法は、データセットのサイズと品質の間でトレードオフを行います。しかし、利用可能な最高品質のキュレーションされたキャプションでさえ、画像の豊かな視覚的詳細を捉えるにはあまりにも短いのが現状です。密で高度に整合した画像-テキストペアの価値を示すため、私たちはDensely Captioned Images（DCI）データセットを収集しました。このデータセットには、平均1000語以上のマスク整合型の説明文が人間によって注釈された8012枚の自然画像が含まれています。画像の特定の部分に関連付けられた正確で信頼性の高いキャプションを用いることで、視覚言語モデル（VLM）の画像内容理解を評価する新しいタスクを提案します。このタスクでは、各キャプションを対応する部分画像とマッチングさせます。現在のモデルはしばしば77テキストトークンに制限されているため、各キャプションの長さを制限した要約版（sDCI）も導入しました。標準ベンチマークで進展を示す現代の技術が、私たちのsDCIベースのベンチマークでは大きな改善につながらないことを示します。最後に、sDCIを使用してCLIPをファインチューニングし、小さなトレーニングセットにもかかわらずベースラインを大幅に改善することを示します。人間が注釈した最初の密な画像キャプションデータセットを公開することで、次世代のVLMのための新しいベンチマークやファインチューニング手法の開発を促進することを期待しています。

English

Curation methods for massive vision-language datasets trade off between dataset size and quality. However, even the highest quality of available curated captions are far too short to capture the rich visual detail in an image. To show the value of dense and highly-aligned image-text pairs, we collect the Densely Captioned Images (DCI) dataset, containing 8012 natural images human-annotated with mask-aligned descriptions averaging above 1000 words each. With precise and reliable captions associated with specific parts of an image, we can evaluate vision-language models' (VLMs) understanding of image content with a novel task that matches each caption with its corresponding subcrop. As current models are often limited to 77 text tokens, we also introduce a summarized version (sDCI) in which each caption length is limited. We show that modern techniques that make progress on standard benchmarks do not correspond with significant improvement on our sDCI based benchmark. Lastly, we finetune CLIP using sDCI and show significant improvements over the baseline despite a small training set. By releasing the first human annotated dense image captioning dataset, we hope to enable the development of new benchmarks or fine-tuning recipes for the next generation of VLMs to come.