CapsFusion: Neubetrachtung von Bild-Text-Daten im großen Maßstab

CapsFusion: Rethinking Image-Text Data at Scale

October 31, 2023

Autoren: Qiying Yu, Quan Sun, Xiaosong Zhang, Yufeng Cui, Fan Zhang, Xinlong Wang, Jingjing Liu

cs.AI

Zusammenfassung

Große multimodale Modelle zeigen eine bemerkenswerte allgemeine Fähigkeit, diverse multimodale Aufgaben in einem Zero-Shot-Verfahren auszuführen. Groß angelegte, webbasierte Bild-Text-Paare tragen grundlegend zu diesem Erfolg bei, leiden jedoch unter übermäßigem Rauschen. Aktuelle Studien verwenden alternative Beschriftungen, die durch Beschriftungsmodelle synthetisiert wurden, und haben beachtliche Benchmark-Leistungen erzielt. Unsere Experimente zeigen jedoch signifikante Probleme der Skalierbarkeitsdefizite und des Verlusts von Weltwissen in Modellen, die mit synthetischen Beschriftungen trainiert wurden, die durch ihren anfänglichen Benchmark-Erfolg weitgehend verdeckt wurden. Bei genauerer Betrachtung identifizieren wir die Ursache als die übermäßig vereinfachte Sprachstruktur und den Mangel an Wissensdetails in bestehenden synthetischen Beschriftungen. Um qualitativ hochwertigere und skalierbarere multimodale Vortrainingsdaten bereitzustellen, schlagen wir CapsFusion vor, ein fortschrittliches Framework, das große Sprachmodelle nutzt, um Informationen aus webbasierten Bild-Text-Paaren und synthetischen Beschriftungen zu konsolidieren und zu verfeinern. Umfangreiche Experimente zeigen, dass CapsFusion-Beschriftungen eine bemerkenswerte allumfassende Überlegenheit gegenüber bestehenden Beschriftungen in Bezug auf Modellleistung (z. B. 18,8 und 18,3 Verbesserungen im CIDEr-Score auf COCO und NoCaps), Stichprobeneffizienz (erfordern 11-16 mal weniger Rechenleistung als Baselines), Tiefe des Weltwissens und Skalierbarkeit aufweisen. Diese Vorteile in Bezug auf Effektivität, Effizienz und Skalierbarkeit positionieren CapsFusion als vielversprechenden Kandidaten für die zukünftige Skalierung des LMM-Trainings.

English

Large multimodal models demonstrate remarkable generalist ability to perform diverse multimodal tasks in a zero-shot manner. Large-scale web-based image-text pairs contribute fundamentally to this success, but suffer from excessive noise. Recent studies use alternative captions synthesized by captioning models and have achieved notable benchmark performance. However, our experiments reveal significant Scalability Deficiency and World Knowledge Loss issues in models trained with synthetic captions, which have been largely obscured by their initial benchmark success. Upon closer examination, we identify the root cause as the overly-simplified language structure and lack of knowledge details in existing synthetic captions. To provide higher-quality and more scalable multimodal pretraining data, we propose CapsFusion, an advanced framework that leverages large language models to consolidate and refine information from both web-based image-text pairs and synthetic captions. Extensive experiments show that CapsFusion captions exhibit remarkable all-round superiority over existing captions in terms of model performance (e.g., 18.8 and 18.3 improvements in CIDEr score on COCO and NoCaps), sample efficiency (requiring 11-16 times less computation than baselines), world knowledge depth, and scalability. These effectiveness, efficiency and scalability advantages position CapsFusion as a promising candidate for future scaling of LMM training.