JAM-Flow: Sintesi Congiunta Audio-Movimento con Flow Matching
JAM-Flow: Joint Audio-Motion Synthesis with Flow Matching
June 30, 2025
Autori: Mingi Kwon, Joonghyuk Shin, Jaeseok Jung, Jaesik Park, Youngjung Uh
cs.AI
Abstract
Il legame intrinseco tra il movimento facciale e il parlato è spesso trascurato nella modellazione generativa, dove la sintesi di volti parlanti e la conversione da testo a voce (TTS) sono tipicamente affrontate come compiti separati. Questo articolo introduce JAM-Flow, un framework unificato per sintetizzare e condizionare simultaneamente sia il movimento facciale che il parlato. Il nostro approccio sfrutta il flow matching e una nuova architettura Multi-Modal Diffusion Transformer (MM-DiT), integrando moduli specializzati Motion-DiT e Audio-DiT. Questi sono accoppiati tramite strati di attenzione congiunta selettiva e incorporano scelte architetturali chiave, come gli embedding posizionali temporalmente allineati e il mascheramento localizzato dell'attenzione congiunta, per consentire un'interazione cross-modale efficace preservando i punti di forza specifici di ciascuna modalità. Addestrato con un obiettivo di tipo inpainting, JAM-Flow supporta un'ampia gamma di input di condizionamento, inclusi testo, audio di riferimento e movimento di riferimento, facilitando compiti come la generazione sincronizzata di volti parlanti da testo, l'animazione guidata da audio e molto altro, all'interno di un unico modello coerente. JAM-Flow rappresenta un significativo progresso nella modellazione generativa multi-modale, fornendo una soluzione pratica per la sintesi audio-visiva olistica. Pagina del progetto: https://joonghyuk.com/jamflow-web
English
The intrinsic link between facial motion and speech is often overlooked in
generative modeling, where talking head synthesis and text-to-speech (TTS) are
typically addressed as separate tasks. This paper introduces JAM-Flow, a
unified framework to simultaneously synthesize and condition on both facial
motion and speech. Our approach leverages flow matching and a novel Multi-Modal
Diffusion Transformer (MM-DiT) architecture, integrating specialized Motion-DiT
and Audio-DiT modules. These are coupled via selective joint attention layers
and incorporate key architectural choices, such as temporally aligned
positional embeddings and localized joint attention masking, to enable
effective cross-modal interaction while preserving modality-specific strengths.
Trained with an inpainting-style objective, JAM-Flow supports a wide array of
conditioning inputs-including text, reference audio, and reference
motion-facilitating tasks such as synchronized talking head generation from
text, audio-driven animation, and much more, within a single, coherent model.
JAM-Flow significantly advances multi-modal generative modeling by providing a
practical solution for holistic audio-visual synthesis. project page:
https://joonghyuk.com/jamflow-web