Ola: 進歩的なモダリティアラインメントによるオムニモーダル言語モデルのフロンティアの拡大

Ola: Pushing the Frontiers of Omni-Modal Language Model with Progressive Modality Alignment

February 6, 2025

著者: Zuyan Liu, Yuhao Dong, Jiahui Wang, Ziwei Liu, Winston Hu, Jiwen Lu, Yongming Rao

cs.AI

要旨

最近の大規模言語モデルの進歩、特にGPT-4oに続くものは、さらなるモダリティを理解できるオムニモーダルモデルの開発に対する関心を高めています。いくつかのオープンソースの代替案が登場していますが、専門の単一モダリティモデルに比べて性能面でまだ著しい遅れがあります。本論文では、画像、ビデオ、および音声の理解において専門の対応モデルと競争力のあるパフォーマンスを達成するオムニモーダル言語モデルであるOlaを提案します。Olaの中核設計は、徐々に言語モデルのサポートモダリティを拡張する進行的なモダリティアラインメント戦略にあります。トレーニングパイプラインは、最も異なるモダリティである画像とテキストから始まり、次に言語と音声知識をつなぐ音声データ、そしてすべてのモダリティをつなぐビデオデータを使用してモデルのスキルセットを徐々に拡大しています。進行的な学習パイプラインは、クロスモーダルアラインメントデータの比較的小さなサイズを維持することも可能にし、既存のビジョン言語モデルからのオムニモーダルの開発を容易かつコストを抑えるものとしています。さらに、GPT-4oのような高度なインタラクティブ体験を実現するために、ストリーミング音声生成のための文単位のデコーディングソリューションを設計しています。広範な実験により、Olaはすべてのモダリティで既存のオープンオムニモーダルLLMを凌駕し、同様のサイズの最先端の専門モデルと非常に競争力のあるパフォーマンスを達成していることが示されています。私たちは、Olaを将来の研究を進めるための完全なオープンオムニモーダル理解ソリューションとして位置付けることを目指しています。モデルの重み、コード、データはhttps://github.com/Ola-Omni/Ola でオープンソースとして提供されています。

English

Recent advances in large language models, particularly following GPT-4o, have sparked increasing interest in developing omni-modal models capable of understanding more modalities. While some open-source alternatives have emerged, there is still a notable lag behind specialized single-modality models in performance. In this paper, we present Ola, an Omni-modal language model that achieves competitive performance across image, video, and audio understanding compared to specialized counterparts. The core design of Ola lies in its progressive modality alignment strategy that extends the supporting modality of the language model progressively. Our training pipeline begins with the most distinct modalities: image and text, then gradually expands the skill sets of the model using speech data that connects language and audio knowledge, and video data that connects all modalities. The progressive learning pipeline also enables us to maintain a relatively small size of the cross-modal alignment data, making developing omni-modal from existing vision-language models easy and less costly. Moreover, to unlock an advanced interactive experience like GPT-4o, we further design a sentence-wise decoding solution for streaming speech generation. Extensive experiments demonstrate that Ola surpasses existing open omni-modal LLMs across all modalities while achieving highly competitive performance compared to state-of-the-art specialized models of similar sizes. We aim to make Ola a fully open omni-modal understanding solution to advance future research in this emerging field. Model weights, code, and data are open-sourced at https://github.com/Ola-Omni/Ola.