Ola : Repousser les frontières du modèle de langue omni-modal avec l'alignement progressif de la modalité

Ola: Pushing the Frontiers of Omni-Modal Language Model with Progressive Modality Alignment

February 6, 2025

Auteurs: Zuyan Liu, Yuhao Dong, Jiahui Wang, Ziwei Liu, Winston Hu, Jiwen Lu, Yongming Rao

cs.AI

Résumé

Les récentes avancées dans les grands modèles de langage, en particulier suite à GPT-4o, ont suscité un intérêt croissant pour le développement de modèles omni-modaux capables de comprendre davantage de modalités. Bien que certaines alternatives open-source aient émergé, il existe encore un notable retard par rapport aux modèles spécialisés à une seule modalité en termes de performance. Dans cet article, nous présentons Ola, un modèle de langage omni-modal qui atteint des performances compétitives en matière de compréhension d'images, de vidéos et de sons par rapport à ses homologues spécialisés. La conception centrale d'Ola réside dans sa stratégie progressive d'alignement des modalités qui étend progressivement la modalité de support du modèle de langage. Notre pipeline d'entraînement commence avec les modalités les plus distinctes : l'image et le texte, puis étend progressivement les compétences du modèle en utilisant des données vocales qui relient le langage et la connaissance audio, et des données vidéo qui relient toutes les modalités. Le pipeline d'apprentissage progressif nous permet également de maintenir une taille relativement petite des données d'alignement croisé des modalités, facilitant ainsi le développement de modèles omni-modaux à partir de modèles existants vision-langage de manière simple et moins coûteuse. De plus, pour débloquer une expérience interactive avancée comme GPT-4o, nous concevons une solution de décodage par phrase pour la génération de discours en continu. Des expériences approfondies démontrent qu'Ola surpasse les LLMs omni-modaux ouverts existants sur toutes les modalités tout en atteignant des performances hautement compétitives par rapport aux modèles spécialisés de pointe de tailles similaires. Notre objectif est de faire d'Ola une solution de compréhension omni-modale entièrement ouverte pour faire avancer la recherche future dans ce domaine émergent. Les poids du modèle, le code et les données sont disponibles en open source sur https://github.com/Ola-Omni/Ola.

English

Recent advances in large language models, particularly following GPT-4o, have sparked increasing interest in developing omni-modal models capable of understanding more modalities. While some open-source alternatives have emerged, there is still a notable lag behind specialized single-modality models in performance. In this paper, we present Ola, an Omni-modal language model that achieves competitive performance across image, video, and audio understanding compared to specialized counterparts. The core design of Ola lies in its progressive modality alignment strategy that extends the supporting modality of the language model progressively. Our training pipeline begins with the most distinct modalities: image and text, then gradually expands the skill sets of the model using speech data that connects language and audio knowledge, and video data that connects all modalities. The progressive learning pipeline also enables us to maintain a relatively small size of the cross-modal alignment data, making developing omni-modal from existing vision-language models easy and less costly. Moreover, to unlock an advanced interactive experience like GPT-4o, we further design a sentence-wise decoding solution for streaming speech generation. Extensive experiments demonstrate that Ola surpasses existing open omni-modal LLMs across all modalities while achieving highly competitive performance compared to state-of-the-art specialized models of similar sizes. We aim to make Ola a fully open omni-modal understanding solution to advance future research in this emerging field. Model weights, code, and data are open-sourced at https://github.com/Ola-Omni/Ola.