Ovi: Dubbele Backbone Cross-Modale Fusie voor Audio-Video Generatie
Ovi: Twin Backbone Cross-Modal Fusion for Audio-Video Generation
September 30, 2025
Auteurs: Chetwin Low, Weimin Wang, Calder Katyal
cs.AI
Samenvatting
Audio-video-generatie heeft vaak vertrouwd op complexe, meerfasige architecturen
of sequentiële synthese van geluid en beeld. Wij introduceren Ovi, een uniform
paradigma voor audio-video-generatie dat de twee modaliteiten modelleert als een enkel
generatief proces. Door gebruik te maken van bloksgewijze cross-modale fusie van twin-DiT-modules,
bereikt Ovi natuurlijke synchronisatie en elimineert het de noodzaak voor afzonderlijke
pijplijnen of post-hoc-uitlijning. Om fijnmazige multimodale fusiemodellering te faciliteren,
initialiseren we een audiotoren met een architectuur die identiek is aan die van een sterk
voorgetraind videomodel. Vanaf nul getraind op honderdduizenden uren aan ruwe audio,
leert de audiotoren realistische geluidseffecten te genereren, evenals spraak die rijke
sprekersidentiteit en emotie overbrengt. Fusie wordt bereikt door gezamenlijke training
van de identieke video- en audiotoren via bloksgewijze uitwisseling van timing (via geschaalde
RoPE-embeddings) en semantiek (door bidirectionele cross-attentie) op een enorme videocorpus.
Ons model maakt cinematisch vertellen mogelijk met natuurlijke spraak en nauwkeurige,
contextueel passende geluidseffecten, waardoor filmwaardige videoclips worden geproduceerd.
Alle demo's, code en modelgewichten zijn gepubliceerd op https://aaxwaz.github.io/Ovi.
English
Audio-video generation has often relied on complex multi-stage architectures
or sequential synthesis of sound and visuals. We introduce Ovi, a unified
paradigm for audio-video generation that models the two modalities as a single
generative process. By using blockwise cross-modal fusion of twin-DiT modules,
Ovi achieves natural synchronization and removes the need for separate
pipelines or post hoc alignment. To facilitate fine-grained multimodal fusion
modeling, we initialize an audio tower with an architecture identical to that
of a strong pretrained video model. Trained from scratch on hundreds of
thousands of hours of raw audio, the audio tower learns to generate realistic
sound effects, as well as speech that conveys rich speaker identity and
emotion. Fusion is obtained by jointly training the identical video and audio
towers via blockwise exchange of timing (via scaled-RoPE embeddings) and
semantics (through bidirectional cross-attention) on a vast video corpus. Our
model enables cinematic storytelling with natural speech and accurate,
context-matched sound effects, producing movie-grade video clips. All the
demos, code and model weights are published at https://aaxwaz.github.io/Ovi