Ovi: Двухмагистральное кросс-модальное слияние для генерации аудио-видео

Ovi: Twin Backbone Cross-Modal Fusion for Audio-Video Generation

September 30, 2025

Авторы: Chetwin Low, Weimin Wang, Calder Katyal

cs.AI

Аннотация

Генерация аудио-видео часто опиралась на сложные многоэтапные архитектуры или последовательный синтез звука и изображения. Мы представляем Ovi, унифицированный подход к генерации аудио-видео, который моделирует оба модальности как единый генеративный процесс. Используя блочное кросс-модальное слияние модулей twin-DiT, Ovi достигает естественной синхронизации и устраняет необходимость в отдельных конвейерах или последующем выравнивании. Для облегчения моделирования тонкого мультимодального слияния мы инициализируем аудио-модуль архитектурой, идентичной сильной предобученной модели видео. Обучаясь с нуля на сотнях тысяч часов необработанного аудио, аудио-модуль учится генерировать реалистичные звуковые эффекты, а также речь, передающую богатую идентичность и эмоции говорящего. Слияние достигается путем совместного обучения идентичных видео- и аудио-модулей через блочный обмен временными данными (через масштабированные RoPE-эмбеддинги) и семантикой (через двунаправленное кросс-внимание) на обширном корпусе видео. Наша модель позволяет создавать кинематографические истории с естественной речью и точными, контекстно соответствующими звуковыми эффектами, производя видео клипы кинематографического качества. Все демонстрации, код и веса модели опубликованы на https://aaxwaz.github.io/Ovi.

English

Audio-video generation has often relied on complex multi-stage architectures or sequential synthesis of sound and visuals. We introduce Ovi, a unified paradigm for audio-video generation that models the two modalities as a single generative process. By using blockwise cross-modal fusion of twin-DiT modules, Ovi achieves natural synchronization and removes the need for separate pipelines or post hoc alignment. To facilitate fine-grained multimodal fusion modeling, we initialize an audio tower with an architecture identical to that of a strong pretrained video model. Trained from scratch on hundreds of thousands of hours of raw audio, the audio tower learns to generate realistic sound effects, as well as speech that conveys rich speaker identity and emotion. Fusion is obtained by jointly training the identical video and audio towers via blockwise exchange of timing (via scaled-RoPE embeddings) and semantics (through bidirectional cross-attention) on a vast video corpus. Our model enables cinematic storytelling with natural speech and accurate, context-matched sound effects, producing movie-grade video clips. All the demos, code and model weights are published at https://aaxwaz.github.io/Ovi