Ovi: Fusión Transmodal de Doble Columna Vertebral para la Generación Audio-Visual

Ovi: Twin Backbone Cross-Modal Fusion for Audio-Video Generation

September 30, 2025

Autores: Chetwin Low, Weimin Wang, Calder Katyal

cs.AI

Resumen

La generación de audio y video ha dependido frecuentemente de arquitecturas complejas de múltiples etapas o de la síntesis secuencial de sonido y elementos visuales. Presentamos Ovi, un paradigma unificado para la generación de audio-video que modela ambas modalidades como un único proceso generativo. Al utilizar una fusión multimodal por bloques de módulos twin-DiT, Ovi logra una sincronización natural y elimina la necesidad de pipelines separados o alineaciones posteriores. Para facilitar el modelado de fusión multimodal a nivel fino, inicializamos una torre de audio con una arquitectura idéntica a la de un modelo de video preentrenado robusto. Entrenada desde cero con cientos de miles de horas de audio crudo, la torre de audio aprende a generar efectos de sonido realistas, así como habla que transmite una rica identidad del hablante y emociones. La fusión se obtiene mediante el entrenamiento conjunto de las torres de video y audio idénticas, a través del intercambio por bloques de información temporal (mediante embeddings scaled-RoPE) y semántica (a través de atención cruzada bidireccional) en un vasto corpus de video. Nuestro modelo permite la narración cinematográfica con habla natural y efectos de sonido precisos y contextualmente adecuados, produciendo clips de video de calidad cinematográfica. Todas las demostraciones, el código y los pesos del modelo están publicados en https://aaxwaz.github.io/Ovi.

English

Audio-video generation has often relied on complex multi-stage architectures or sequential synthesis of sound and visuals. We introduce Ovi, a unified paradigm for audio-video generation that models the two modalities as a single generative process. By using blockwise cross-modal fusion of twin-DiT modules, Ovi achieves natural synchronization and removes the need for separate pipelines or post hoc alignment. To facilitate fine-grained multimodal fusion modeling, we initialize an audio tower with an architecture identical to that of a strong pretrained video model. Trained from scratch on hundreds of thousands of hours of raw audio, the audio tower learns to generate realistic sound effects, as well as speech that conveys rich speaker identity and emotion. Fusion is obtained by jointly training the identical video and audio towers via blockwise exchange of timing (via scaled-RoPE embeddings) and semantics (through bidirectional cross-attention) on a vast video corpus. Our model enables cinematic storytelling with natural speech and accurate, context-matched sound effects, producing movie-grade video clips. All the demos, code and model weights are published at https://aaxwaz.github.io/Ovi