CapsFusion: Ripensare i dati immagine-testo su larga scala

CapsFusion: Rethinking Image-Text Data at Scale

October 31, 2023

Autori: Qiying Yu, Quan Sun, Xiaosong Zhang, Yufeng Cui, Fan Zhang, Xinlong Wang, Jingjing Liu

cs.AI

Abstract

I grandi modelli multimodali dimostrano una notevole capacità generalista di eseguire compiti multimodali diversi in modalità zero-shot. Le coppie immagine-testo su larga scala basate sul web contribuiscono in modo fondamentale a questo successo, ma soffrono di un eccessivo rumore. Studi recenti utilizzano didascalie alternative sintetizzate da modelli di descrizione e hanno ottenuto prestazioni significative nei benchmark. Tuttavia, i nostri esperimenti rivelano significativi problemi di Scalabilità Deficitaria e Perdita di Conoscenza Mondiale nei modelli addestrati con didascalie sintetiche, che sono stati in gran parte oscurati dal loro iniziale successo nei benchmark. Un esame più attento identifica la causa principale nella struttura linguistica eccessivamente semplificata e nella mancanza di dettagli conoscitivi nelle didascalie sintetiche esistenti. Per fornire dati di pre-addestramento multimodale di qualità superiore e più scalabili, proponiamo CapsFusion, un framework avanzato che sfrutta i grandi modelli linguistici per consolidare e affinare le informazioni provenienti sia dalle coppie immagine-testo basate sul web che dalle didascalie sintetiche. Esperimenti estesi dimostrano che le didascalie CapsFusion mostrano una notevole superiorità a tutto tondo rispetto alle didascalie esistenti in termini di prestazioni del modello (ad esempio, miglioramenti di 18,8 e 18,3 nel punteggio CIDEr su COCO e NoCaps), efficienza del campione (richiedendo 11-16 volte meno calcolo rispetto ai baseline), profondità della conoscenza mondiale e scalabilità. Questi vantaggi in termini di efficacia, efficienza e scalabilità posizionano CapsFusion come un candidato promettente per il futuro ampliamento dell'addestramento dei LMM.

English

Large multimodal models demonstrate remarkable generalist ability to perform diverse multimodal tasks in a zero-shot manner. Large-scale web-based image-text pairs contribute fundamentally to this success, but suffer from excessive noise. Recent studies use alternative captions synthesized by captioning models and have achieved notable benchmark performance. However, our experiments reveal significant Scalability Deficiency and World Knowledge Loss issues in models trained with synthetic captions, which have been largely obscured by their initial benchmark success. Upon closer examination, we identify the root cause as the overly-simplified language structure and lack of knowledge details in existing synthetic captions. To provide higher-quality and more scalable multimodal pretraining data, we propose CapsFusion, an advanced framework that leverages large language models to consolidate and refine information from both web-based image-text pairs and synthetic captions. Extensive experiments show that CapsFusion captions exhibit remarkable all-round superiority over existing captions in terms of model performance (e.g., 18.8 and 18.3 improvements in CIDEr score on COCO and NoCaps), sample efficiency (requiring 11-16 times less computation than baselines), world knowledge depth, and scalability. These effectiveness, efficiency and scalability advantages position CapsFusion as a promising candidate for future scaling of LMM training.