CapsFusion : Repenser les données image-texte à grande échelle

CapsFusion: Rethinking Image-Text Data at Scale

October 31, 2023

Auteurs: Qiying Yu, Quan Sun, Xiaosong Zhang, Yufeng Cui, Fan Zhang, Xinlong Wang, Jingjing Liu

cs.AI

Résumé

Les grands modèles multimodaux démontrent une capacité généraliste remarquable à accomplir diverses tâches multimodales de manière zero-shot. Les paires image-texte à grande échelle issues du web contribuent fondamentalement à ce succès, mais souffrent d'un bruit excessif. Des études récentes utilisent des légendes alternatives synthétisées par des modèles de génération de légendes et ont obtenu des performances notables sur les benchmarks. Cependant, nos expériences révèlent des problèmes significatifs de Déficit de Scalabilité et de Perte de Connaissance du Monde dans les modèles entraînés avec des légendes synthétiques, qui ont été largement masqués par leur succès initial sur les benchmarks. Après un examen plus approfondi, nous identifions la cause racine comme étant la structure linguistique trop simplifiée et le manque de détails de connaissance dans les légendes synthétiques existantes. Pour fournir des données de prétraitement multimodal de meilleure qualité et plus évolutives, nous proposons CapsFusion, un cadre avancé qui exploite les grands modèles de langage pour consolider et affiner les informations provenant à la fois des paires image-texte issues du web et des légendes synthétiques. Des expériences approfondies montrent que les légendes CapsFusion présentent une supériorité globale remarquable par rapport aux légendes existantes en termes de performance des modèles (par exemple, des améliorations de 18,8 et 18,3 du score CIDEr sur COCO et NoCaps), d'efficacité d'échantillonnage (nécessitant 11 à 16 fois moins de calcul que les baselines), de profondeur de la connaissance du monde et de scalabilité. Ces avantages en termes d'efficacité, d'efficience et de scalabilité positionnent CapsFusion comme un candidat prometteur pour le futur passage à l'échelle de l'entraînement des LMM.

English

Large multimodal models demonstrate remarkable generalist ability to perform diverse multimodal tasks in a zero-shot manner. Large-scale web-based image-text pairs contribute fundamentally to this success, but suffer from excessive noise. Recent studies use alternative captions synthesized by captioning models and have achieved notable benchmark performance. However, our experiments reveal significant Scalability Deficiency and World Knowledge Loss issues in models trained with synthetic captions, which have been largely obscured by their initial benchmark success. Upon closer examination, we identify the root cause as the overly-simplified language structure and lack of knowledge details in existing synthetic captions. To provide higher-quality and more scalable multimodal pretraining data, we propose CapsFusion, an advanced framework that leverages large language models to consolidate and refine information from both web-based image-text pairs and synthetic captions. Extensive experiments show that CapsFusion captions exhibit remarkable all-round superiority over existing captions in terms of model performance (e.g., 18.8 and 18.3 improvements in CIDEr score on COCO and NoCaps), sample efficiency (requiring 11-16 times less computation than baselines), world knowledge depth, and scalability. These effectiveness, efficiency and scalability advantages position CapsFusion as a promising candidate for future scaling of LMM training.