Нативное аудиовизуальное согласование для генерации

Аннотация

Совместная генерация аудио и видео направлена на синтез временно синхронизированного и семантически согласованного визуально-акустического контента. Однако существующие методы с открытым исходным кодом в основном полагаются либо на двухбашенные архитектуры с апостериорным выравниванием, либо на полностью унифицированные тримодальные архитектуры, которые смешивают текстовый контекст, аудио и видео в едином общем пространстве. Первая ослабляет мелкозернистую совместную эволюцию аудио и видео, в то время как вторая связывает семантическое обусловливание с низкоуровневой синхронизацией. Для устранения этих ограничений мы предлагаем NAVA — фреймворк нативного аудиовизуального выравнивания для совместной генерации аудио и видео. NAVA построен на основе контекстно-обусловленного нативного аудиовизуального выравнивания: сначала он устанавливает соответствие между аудио и видео в выделенном пространстве взаимодействия, а затем использует внешний контекст для обусловливания совместного процесса шумоподавления. В частности, NAVA реализован с помощью архитектуры Align-then-Fuse MMDiT, которая переходит от модально-осведомленного аудиовизуального выравнивания к модально-разделяемому совместному шумоподавлению. Кроме того, мы вводим Timbre-in-Context Conditioning для ассоциации референсных тембральных сигналов с соответствующими речевыми сегментами с целью достижения управляемого тембра речи. Эксперименты на Verse-Bench и Seed-TTS, а также пользовательское исследование демонстрируют, что NAVA достигает превосходного качества видео, точной аудиовизуальной синхронизации, конкурентоспособного качества аудио и более сильной управляемости референсным тембром, используя всего 6,3 миллиарда параметров.

English

Joint audio-video generation aims to synthesize temporally synchronized and semantically coherent visual-acoustic content. However, existing open-source methods mainly rely on either dual-tower designs with posterior alignment or fully unified tri-modal designs that mix textual context, audio and video in one shared space. The former weakens fine-grained audio-video co-evolution, while the latter couples semantic conditioning with low-level synchronization. To address these limitations, we propose NAVA, a Native Audio-Visual Alignment framework for joint audio-video generation. NAVA is built upon context-conditioned native audio-visual alignment: it first establishes audio-video correspondence in a dedicated interaction space, and then uses external context to condition the joint denoising process. Specifically, NAVA is instantiated with an Align-then-Fuse MMDiT architecture, which transitions from modality-aware audio-video alignment to modality-shared joint denoising. Furthermore, we introduce Timbre-in-Context Conditioning to associate reference timbre cues with corresponding speech spans to achieve controllable speech timbre. Experiments on Verse-Bench and Seed-TTS, together with a user study, demonstrate that NAVA achieves superior video quality, precise audio-visual synchronization, competitive audio quality, and stronger reference-timbre controllability using only 6.3B parameters.