Explora los límites del preentrenamiento omni-modal a gran escala

Explore the Limits of Omni-modal Pretraining at Scale

June 13, 2024

Autores: Yiyuan Zhang, Handong Li, Jing Liu, Xiangyu Yue

cs.AI

Resumen

Proponemos construir una inteligencia omni-modal, capaz de comprender cualquier modalidad y aprender representaciones universales. En concreto, proponemos un paradigma de preentrenamiento escalable, denominado Contexto Multimodal (MiCo), que puede escalar el número de modalidades y la cantidad de datos, junto con los parámetros del modelo, durante el proceso de preentrenamiento. Con MiCo, los modelos preentrenados muestran habilidades emergentes significativas en el aprendizaje multimodal, las cuales se evalúan en las siguientes tareas: i) benchmarks de percepción de una sola modalidad en 10 modalidades diferentes, ii) 25 tareas de comprensión cruzada de modalidades como recuperación, preguntas y respuestas, y generación de subtítulos, y iii) 18 benchmarks de modelos de lenguaje multimodal de gran escala. Nuestros modelos establecen 37 nuevos récords en cuanto al rendimiento de última generación. Esperamos que nuestra investigación contribuya al desarrollo de la inteligencia omni-modal. El código y los modelos están disponibles en https://github.com/invictus717/MiCo.

English

We propose to build omni-modal intelligence, which is capable of understanding any modality and learning universal representations. In specific, we propose a scalable pretraining paradigm, named Multimodal Context (MiCo), which can scale up the numbers of modalities and amount of data, together with the model parameters, in the pretraining process. With MiCo, the pretrained models show significant emergent abilities in multimodal learning, which are evaluated on the following tasks: i) single-modality perception benchmarks of 10 different modalities, ii) 25 cross-modality understanding tasks of retrieval, question-answering, captioning, and iii) 18 multimodal large language model benchmarks. Our models establish 37 new records for state-of-the-art performance. We hope that our research could contribute to the development of omni-modal intelligence. Code and Models are at https://github.com/invictus717/MiCo