Explorez les limites du pré-entraînement omni-modal à grande échelle

Explore the Limits of Omni-modal Pretraining at Scale

June 13, 2024

Auteurs: Yiyuan Zhang, Handong Li, Jing Liu, Xiangyu Yue

cs.AI

Résumé

Nous proposons de développer une intelligence omni-modale, capable de comprendre toute modalité et d'apprendre des représentations universelles. Plus précisément, nous proposons un paradigme d'apprentissage préalable évolutif, nommé Contexte Multimodal (MiCo), qui permet d'augmenter le nombre de modalités, la quantité de données, ainsi que les paramètres du modèle, lors du processus de pré-entraînement. Avec MiCo, les modèles pré-entraînés démontrent des capacités émergentes significatives en apprentissage multimodal, évaluées sur les tâches suivantes : i) des benchmarks de perception unimodale pour 10 modalités différentes, ii) 25 tâches de compréhension intermodale incluant la recherche d'information, le question-réponse et la génération de légendes, et iii) 18 benchmarks pour les grands modèles de langage multimodaux. Nos modèles établissent 37 nouveaux records en termes de performances de pointe. Nous espérons que nos recherches contribueront au développement de l'intelligence omni-modale. Le code et les modèles sont disponibles à l'adresse suivante : https://github.com/invictus717/MiCo.

English

We propose to build omni-modal intelligence, which is capable of understanding any modality and learning universal representations. In specific, we propose a scalable pretraining paradigm, named Multimodal Context (MiCo), which can scale up the numbers of modalities and amount of data, together with the model parameters, in the pretraining process. With MiCo, the pretrained models show significant emergent abilities in multimodal learning, which are evaluated on the following tasks: i) single-modality perception benchmarks of 10 different modalities, ii) 25 cross-modality understanding tasks of retrieval, question-answering, captioning, and iii) 18 multimodal large language model benchmarks. Our models establish 37 new records for state-of-the-art performance. We hope that our research could contribute to the development of omni-modal intelligence. Code and Models are at https://github.com/invictus717/MiCo