Ola: Vorstoß an die Grenzen des omni-modalen Sprachmodells mit progressiver Modalitätsausrichtung

Ola: Pushing the Frontiers of Omni-Modal Language Model with Progressive Modality Alignment

February 6, 2025

Autoren: Zuyan Liu, Yuhao Dong, Jiahui Wang, Ziwei Liu, Winston Hu, Jiwen Lu, Yongming Rao

cs.AI

Zusammenfassung

In jüngster Zeit haben Fortschritte bei großen Sprachmodellen, insbesondere nach GPT-4o, ein zunehmendes Interesse an der Entwicklung omni-modaler Modelle ausgelöst, die in der Lage sind, mehr Modalitäten zu verstehen. Obwohl einige Open-Source-Alternativen aufgetaucht sind, besteht immer noch ein deutlicher Rückstand gegenüber spezialisierten Einzelmodalitätsmodellen in der Leistung. In diesem Artikel präsentieren wir Ola, ein omni-modales Sprachmodell, das im Vergleich zu spezialisierten Gegenstücken eine wettbewerbsfähige Leistung in Bild-, Video- und Audioverständnis erzielt. Das Kernkonzept von Ola liegt in seiner progressiven Modalitätsausrichtungsstrategie, die die unterstützende Modalität des Sprachmodells schrittweise erweitert. Unser Schulungspipeline beginnt mit den unterschiedlichsten Modalitäten: Bild und Text, und erweitert dann allmählich die Fähigkeiten des Modells unter Verwendung von Sprachdaten, die Sprach- und Audio-Kenntnisse verbinden, und Videodaten, die alle Modalitäten verbinden. Die progressive Lernpipeline ermöglicht es uns auch, eine relativ geringe Größe der kreuzmodalen Ausrichtungsdaten beizubehalten, was die Entwicklung omni-modaler Modelle aus bestehenden Bildsprachmodellen einfach und kostengünstig macht. Darüber hinaus haben wir zur Entfaltung einer fortgeschrittenen interaktiven Erfahrung wie GPT-4o eine satzweise Decodierungslösung für die kontinuierliche Spracherzeugung entwickelt. Umfangreiche Experimente zeigen, dass Ola bestehende offene omni-modale LLMs in allen Modalitäten übertrifft und dabei eine hochgradig wettbewerbsfähige Leistung im Vergleich zu hochmodernen spezialisierten Modellen ähnlicher Größe erzielt. Unser Ziel ist es, Ola zu einer vollständig offenen omni-modalen Verständnislösung zu machen, um die zukünftige Forschung in diesem aufstrebenden Bereich voranzutreiben. Modellgewichte, Code und Daten sind unter https://github.com/Ola-Omni/Ola als Open Source verfügbar.

English

Recent advances in large language models, particularly following GPT-4o, have sparked increasing interest in developing omni-modal models capable of understanding more modalities. While some open-source alternatives have emerged, there is still a notable lag behind specialized single-modality models in performance. In this paper, we present Ola, an Omni-modal language model that achieves competitive performance across image, video, and audio understanding compared to specialized counterparts. The core design of Ola lies in its progressive modality alignment strategy that extends the supporting modality of the language model progressively. Our training pipeline begins with the most distinct modalities: image and text, then gradually expands the skill sets of the model using speech data that connects language and audio knowledge, and video data that connects all modalities. The progressive learning pipeline also enables us to maintain a relatively small size of the cross-modal alignment data, making developing omni-modal from existing vision-language models easy and less costly. Moreover, to unlock an advanced interactive experience like GPT-4o, we further design a sentence-wise decoding solution for streaming speech generation. Extensive experiments demonstrate that Ola surpasses existing open omni-modal LLMs across all modalities while achieving highly competitive performance compared to state-of-the-art specialized models of similar sizes. We aim to make Ola a fully open omni-modal understanding solution to advance future research in this emerging field. Model weights, code, and data are open-sourced at https://github.com/Ola-Omni/Ola.