Ovi: Fusione Cross-Modale a Doppio Backbone per la Generazione Audio-Video

Ovi: Twin Backbone Cross-Modal Fusion for Audio-Video Generation

September 30, 2025

Autori: Chetwin Low, Weimin Wang, Calder Katyal

cs.AI

Abstract

La generazione audio-video si è spesso basata su architetture complesse a più stadi o sulla sintesi sequenziale di suoni e immagini. Introduciamo Ovi, un paradigma unificato per la generazione audio-video che modella le due modalità come un unico processo generativo. Utilizzando una fusione cross-modale a blocchi di moduli twin-DiT, Ovi ottiene una sincronizzazione naturale ed elimina la necessità di pipeline separate o di allineamenti post-hoc. Per facilitare la modellazione di una fusione multimodale fine, inizializziamo una torre audio con un'architettura identica a quella di un modello video pre-addestrato di alta qualità. Addestrata da zero su centinaia di migliaia di ore di audio grezzo, la torre audio impara a generare effetti sonori realistici, nonché discorsi che trasmettono una ricca identità del parlante ed emozioni. La fusione viene ottenuta addestrando congiuntamente le torri video e audio identiche attraverso lo scambio a blocchi di informazioni temporali (tramite embedding scaled-RoPE) e semantiche (attraverso cross-attention bidirezionale) su un vasto corpus video. Il nostro modello consente la narrazione cinematografica con discorsi naturali ed effetti sonori precisi e contestualmente coerenti, producendo clip video di qualità cinematografica. Tutte le demo, il codice e i pesi del modello sono pubblicati su https://aaxwaz.github.io/Ovi.

English

Audio-video generation has often relied on complex multi-stage architectures or sequential synthesis of sound and visuals. We introduce Ovi, a unified paradigm for audio-video generation that models the two modalities as a single generative process. By using blockwise cross-modal fusion of twin-DiT modules, Ovi achieves natural synchronization and removes the need for separate pipelines or post hoc alignment. To facilitate fine-grained multimodal fusion modeling, we initialize an audio tower with an architecture identical to that of a strong pretrained video model. Trained from scratch on hundreds of thousands of hours of raw audio, the audio tower learns to generate realistic sound effects, as well as speech that conveys rich speaker identity and emotion. Fusion is obtained by jointly training the identical video and audio towers via blockwise exchange of timing (via scaled-RoPE embeddings) and semantics (through bidirectional cross-attention) on a vast video corpus. Our model enables cinematic storytelling with natural speech and accurate, context-matched sound effects, producing movie-grade video clips. All the demos, code and model weights are published at https://aaxwaz.github.io/Ovi