Ovi : Fusion intermodale à double architecture pour la génération audio-vidéo

Ovi: Twin Backbone Cross-Modal Fusion for Audio-Video Generation

September 30, 2025

papers.authors: Chetwin Low, Weimin Wang, Calder Katyal

cs.AI

papers.abstract

La génération audio-vidéo a souvent reposé sur des architectures multi-étapes complexes ou sur une synthèse séquentielle du son et des visuels. Nous présentons Ovi, un paradigme unifié pour la génération audio-vidéo qui modélise les deux modalités comme un seul processus génératif. En utilisant une fusion intermodale par blocs de modules twin-DiT, Ovi réalise une synchronisation naturelle et élimine le besoin de pipelines séparés ou d'alignement a posteriori. Pour faciliter la modélisation fine de la fusion multimodale, nous initialisons une tour audio avec une architecture identique à celle d'un modèle vidéo pré-entraîné performant. Entraînée à partir de zéro sur des centaines de milliers d'heures d'audio brut, la tour audio apprend à générer des effets sonores réalistes ainsi que des paroles qui transmettent une identité et des émotions riches du locuteur. La fusion est obtenue en entraînant conjointement les tours vidéo et audio identiques via un échange par blocs de la temporalité (via des embeddings scaled-RoPE) et de la sémantique (par une attention croisée bidirectionnelle) sur un vaste corpus vidéo. Notre modèle permet une narration cinématographique avec des paroles naturelles et des effets sonores précis et adaptés au contexte, produisant des clips vidéo de qualité cinématographique. Toutes les démos, le code et les poids du modèle sont publiés à l'adresse https://aaxwaz.github.io/Ovi.

English

Audio-video generation has often relied on complex multi-stage architectures or sequential synthesis of sound and visuals. We introduce Ovi, a unified paradigm for audio-video generation that models the two modalities as a single generative process. By using blockwise cross-modal fusion of twin-DiT modules, Ovi achieves natural synchronization and removes the need for separate pipelines or post hoc alignment. To facilitate fine-grained multimodal fusion modeling, we initialize an audio tower with an architecture identical to that of a strong pretrained video model. Trained from scratch on hundreds of thousands of hours of raw audio, the audio tower learns to generate realistic sound effects, as well as speech that conveys rich speaker identity and emotion. Fusion is obtained by jointly training the identical video and audio towers via blockwise exchange of timing (via scaled-RoPE embeddings) and semantics (through bidirectional cross-attention) on a vast video corpus. Our model enables cinematic storytelling with natural speech and accurate, context-matched sound effects, producing movie-grade video clips. All the demos, code and model weights are published at https://aaxwaz.github.io/Ovi