Native audiovisuelle Ausrichtung für die Generierung

Zusammenfassung

Die gemeinsame Audio-Video-Generierung zielt darauf ab, zeitlich synchronisierte und semantisch kohärente visuell-akustische Inhalte zu synthetisieren. Allerdings stützen sich bestehende Open-Source-Methoden hauptsächlich entweder auf Zwei-Turm-Architekturen mit posteriorer Ausrichtung oder auf vollständig vereinheitlichte trimodale Designs, die textuellen Kontext, Audio und Video in einem gemeinsamen Raum vermischen. Ersteres schwächt die feinkörnige Audio-Video-Koevolution, während Letzteres die semantische Konditionierung mit niedriger Synchronisation koppelt. Um diese Einschränkungen zu adressieren, schlagen wir NAVA vor, ein Framework für native Audio-Visuelle Ausrichtung zur gemeinsamen Audio-Video-Generierung. NAVA basiert auf kontextkonditionierter nativer Audio-Visueller Ausrichtung: Es stellt zunächst die Audio-Video-Korrespondenz in einem dedizierten Interaktionsraum her und verwendet dann einen externen Kontext, um den gemeinsamen Entrauschungsprozess zu konditionieren. Konkret wird NAVA mit einer Align-then-Fuse-MMDiT-Architektur instanziiert, die von einer modalitätsbewussten Audio-Video-Ausrichtung zu einem modalitätsgeteilten gemeinsamen Entrauschen übergeht. Darüber hinaus führen wir die Timbre-in-Context-Konditionierung ein, um Referenz-Timbre-Hinweise mit entsprechenden Sprachabschnitten zu verknüpfen und so ein steuerbares Sprach-Timbre zu erreichen. Experimente auf Verse-Bench und Seed-TTS sowie eine Benutzerstudie zeigen, dass NAVA mit nur 6,3 Milliarden Parametern eine überlegene Videoqualität, präzise Audio-Video-Synchronisation, wettbewerbsfähige Audioqualität und eine stärkere Referenz-Timbre-Steuerbarkeit erreicht.

English

Joint audio-video generation aims to synthesize temporally synchronized and semantically coherent visual-acoustic content. However, existing open-source methods mainly rely on either dual-tower designs with posterior alignment or fully unified tri-modal designs that mix textual context, audio and video in one shared space. The former weakens fine-grained audio-video co-evolution, while the latter couples semantic conditioning with low-level synchronization. To address these limitations, we propose NAVA, a Native Audio-Visual Alignment framework for joint audio-video generation. NAVA is built upon context-conditioned native audio-visual alignment: it first establishes audio-video correspondence in a dedicated interaction space, and then uses external context to condition the joint denoising process. Specifically, NAVA is instantiated with an Align-then-Fuse MMDiT architecture, which transitions from modality-aware audio-video alignment to modality-shared joint denoising. Furthermore, we introduce Timbre-in-Context Conditioning to associate reference timbre cues with corresponding speech spans to achieve controllable speech timbre. Experiments on Verse-Bench and Seed-TTS, together with a user study, demonstrate that NAVA achieves superior video quality, precise audio-visual synchronization, competitive audio quality, and stronger reference-timbre controllability using only 6.3B parameters.