Natuurlijke audiovisuele uitlijning voor generatie

Samenvatting

Gezamenlijke audio-video generatie heeft tot doel temporeel gesynchroniseerde en semantisch coherente visueel-akoestische inhoud te synthetiseren. Bestaande open-source methoden zijn echter voornamelijk gebaseerd op dual-tower ontwerpen met posterieure uitlijning of volledig verenigde tri-modale ontwerpen die tekstuele context, audio en video in één gedeelde ruimte mengen. Eerstgenoemde verzwakt de fijnmazige audio-video co-evolutie, terwijl laatstgenoemde semantische conditionering koppelt aan laag-niveau synchronisatie. Om deze beperkingen aan te pakken, stellen we NAVA voor, een Native Audio-Visueel Uitlijningsraamwerk voor gezamenlijke audio-video generatie. NAVA is gebouwd op context-geconditioneerde native audio-visuele uitlijning: het vestigt eerst audio-video correspondentie in een speciale interactieruimte en gebruikt vervolgens externe context om het gezamenlijke denoising proces te conditioneren. Specifiek wordt NAVA geïnstantieerd met een Align-then-Fuse MMDiT architectuur, die overgaat van modaliteitsbewuste audio-video uitlijning naar modaliteitsgedeeld gezamenlijk denoising. Verder introduceren we Timbre-in-Context Conditionering om referentie timbre aanwijzingen te koppelen aan overeenkomstige spraaksegmenten voor controleerbaar spraaktimbre. Experimenten op Verse-Bench en Seed-TTS, samen met een gebruikersstudie, tonen aan dat NAVA superieure videokwaliteit, precieze audio-visuele synchronisatie, concurrerende audiokwaliteit en sterkere referentie-timbre controleerbaarheid bereikt met slechts 6,3 miljard parameters.

English

Joint audio-video generation aims to synthesize temporally synchronized and semantically coherent visual-acoustic content. However, existing open-source methods mainly rely on either dual-tower designs with posterior alignment or fully unified tri-modal designs that mix textual context, audio and video in one shared space. The former weakens fine-grained audio-video co-evolution, while the latter couples semantic conditioning with low-level synchronization. To address these limitations, we propose NAVA, a Native Audio-Visual Alignment framework for joint audio-video generation. NAVA is built upon context-conditioned native audio-visual alignment: it first establishes audio-video correspondence in a dedicated interaction space, and then uses external context to condition the joint denoising process. Specifically, NAVA is instantiated with an Align-then-Fuse MMDiT architecture, which transitions from modality-aware audio-video alignment to modality-shared joint denoising. Furthermore, we introduce Timbre-in-Context Conditioning to associate reference timbre cues with corresponding speech spans to achieve controllable speech timbre. Experiments on Verse-Bench and Seed-TTS, together with a user study, demonstrate that NAVA achieves superior video quality, precise audio-visual synchronization, competitive audio quality, and stronger reference-timbre controllability using only 6.3B parameters.