CapsFusion: 大規模な画像テキストデータの再考

CapsFusion: Rethinking Image-Text Data at Scale

October 31, 2023

著者: Qiying Yu, Quan Sun, Xiaosong Zhang, Yufeng Cui, Fan Zhang, Xinlong Wang, Jingjing Liu

cs.AI

要旨

大規模マルチモーダルモデルは、ゼロショット方式で多様なマルチモーダルタスクを実行する際に顕著な汎用能力を示します。ウェブベースの大規模な画像-テキストペアはこの成功に根本的に貢献していますが、過剰なノイズに悩まされています。最近の研究では、キャプションモデルによって合成された代替キャプションを使用し、注目すべきベンチマーク性能を達成しています。しかし、私たちの実験では、合成キャプションで訓練されたモデルに重大なスケーラビリティ欠陥と世界知識の喪失問題があることが明らかになりました。これらの問題は、初期のベンチマーク成功によって大きく覆い隠されていました。詳細な検討の結果、既存の合成キャプションにおける過度に簡素化された言語構造と知識詳細の欠如が根本原因であることが判明しました。より高品質でスケーラブルなマルチモーダル事前学習データを提供するために、私たちはCapsFusionを提案します。これは、大規模言語モデルを活用して、ウェブベースの画像-テキストペアと合成キャプションの両方から情報を統合・洗練する先進的なフレームワークです。広範な実験により、CapsFusionキャプションは、モデル性能（例：COCOとNoCapsにおけるCIDErスコアの18.8および18.3の向上）、サンプル効率（ベースラインよりも11～16倍少ない計算量を必要とする）、世界知識の深さ、およびスケーラビリティの点で、既存のキャプションに対して顕著な全体的優位性を示すことが確認されました。これらの有効性、効率性、およびスケーラビリティの利点により、CapsFusionは将来のLMM訓練のスケーリングにおける有望な候補として位置づけられています。

English

Large multimodal models demonstrate remarkable generalist ability to perform diverse multimodal tasks in a zero-shot manner. Large-scale web-based image-text pairs contribute fundamentally to this success, but suffer from excessive noise. Recent studies use alternative captions synthesized by captioning models and have achieved notable benchmark performance. However, our experiments reveal significant Scalability Deficiency and World Knowledge Loss issues in models trained with synthetic captions, which have been largely obscured by their initial benchmark success. Upon closer examination, we identify the root cause as the overly-simplified language structure and lack of knowledge details in existing synthetic captions. To provide higher-quality and more scalable multimodal pretraining data, we propose CapsFusion, an advanced framework that leverages large language models to consolidate and refine information from both web-based image-text pairs and synthetic captions. Extensive experiments show that CapsFusion captions exhibit remarkable all-round superiority over existing captions in terms of model performance (e.g., 18.8 and 18.3 improvements in CIDEr score on COCO and NoCaps), sample efficiency (requiring 11-16 times less computation than baselines), world knowledge depth, and scalability. These effectiveness, efficiency and scalability advantages position CapsFusion as a promising candidate for future scaling of LMM training.