Ovi: Fusão Transmodal de Coluna Vertebral Gêmea para Geração Áudio-Visual

Ovi: Twin Backbone Cross-Modal Fusion for Audio-Video Generation

September 30, 2025

Autores: Chetwin Low, Weimin Wang, Calder Katyal

cs.AI

Resumo

A geração áudio-vídeo frequentemente dependia de arquiteturas complexas em múltiplos estágios ou da síntese sequencial de som e imagens. Apresentamos o Ovi, um paradigma unificado para geração áudio-vídeo que modela as duas modalidades como um único processo generativo. Ao utilizar fusão intermodal em blocos de módulos twin-DiT, o Ovi alcança sincronização natural e elimina a necessidade de pipelines separados ou alinhamento posterior. Para facilitar a modelagem de fusão multimodal em nível refinado, inicializamos uma torre de áudio com uma arquitetura idêntica à de um modelo de vídeo pré-treinado robusto. Treinada do zero com centenas de milhares de horas de áudio bruto, a torre de áudio aprende a gerar efeitos sonoros realistas, bem como fala que transmite identidade e emoção ricas do falante. A fusão é obtida por meio do treinamento conjunto das torres de vídeo e áudio idênticas, com troca em blocos de informações temporais (via embeddings scaled-RoPE) e semânticas (através de atenção cruzada bidirecional) em um vasto corpus de vídeos. Nosso modelo permite narrativas cinematográficas com fala natural e efeitos sonoros precisos e contextualizados, produzindo clipes de vídeo de qualidade cinematográfica. Todos os demos, códigos e pesos do modelo estão publicados em https://aaxwaz.github.io/Ovi.

English

Audio-video generation has often relied on complex multi-stage architectures or sequential synthesis of sound and visuals. We introduce Ovi, a unified paradigm for audio-video generation that models the two modalities as a single generative process. By using blockwise cross-modal fusion of twin-DiT modules, Ovi achieves natural synchronization and removes the need for separate pipelines or post hoc alignment. To facilitate fine-grained multimodal fusion modeling, we initialize an audio tower with an architecture identical to that of a strong pretrained video model. Trained from scratch on hundreds of thousands of hours of raw audio, the audio tower learns to generate realistic sound effects, as well as speech that conveys rich speaker identity and emotion. Fusion is obtained by jointly training the identical video and audio towers via blockwise exchange of timing (via scaled-RoPE embeddings) and semantics (through bidirectional cross-attention) on a vast video corpus. Our model enables cinematic storytelling with natural speech and accurate, context-matched sound effects, producing movie-grade video clips. All the demos, code and model weights are published at https://aaxwaz.github.io/Ovi