JAM-Flow: Gezamenlijke Audio-Bewegingssynthese met Flow Matching
JAM-Flow: Joint Audio-Motion Synthesis with Flow Matching
June 30, 2025
Auteurs: Mingi Kwon, Joonghyuk Shin, Jaeseok Jung, Jaesik Park, Youngjung Uh
cs.AI
Samenvatting
De intrinsieke relatie tussen gezichtsbeweging en spraak wordt vaak over het hoofd gezien in generatieve modellering, waar het synthetiseren van pratende hoofden en tekst-naar-spraak (TTS) doorgaans als afzonderlijke taken worden behandeld. Dit artikel introduceert JAM-Flow, een geïntegreerd raamwerk om zowel gezichtsbeweging als spraak gelijktijdig te synthetiseren en te conditioneren. Onze aanpak maakt gebruik van flow matching en een nieuwe Multi-Modale Diffusie Transformer (MM-DiT) architectuur, die gespecialiseerde Motion-DiT en Audio-DiT modules integreert. Deze worden gekoppeld via selectieve gezamenlijke aandachtslagen en bevatten belangrijke architectonische keuzes, zoals tijdelijk uitgelijnde positionele embeddings en gelokaliseerde gezamenlijke aandachtmaskering, om effectieve cross-modale interactie mogelijk te maken terwijl de specifieke sterktes van elke modaliteit behouden blijven. Getraind met een inpainting-stijl doelstelling ondersteunt JAM-Flow een breed scala aan conditioneringinputs—inclusief tekst, referentieaudio en referentiebeweging—wat taken zoals gesynchroniseerde pratende hoofdsynthese vanuit tekst, audio-gestuurde animatie en nog veel meer mogelijk maakt binnen een enkel, coherent model. JAM-Flow zet multi-modale generatieve modellering aanzienlijk vooruit door een praktische oplossing te bieden voor holistische audio-visuele synthese. Projectpagina: https://joonghyuk.com/jamflow-web
English
The intrinsic link between facial motion and speech is often overlooked in
generative modeling, where talking head synthesis and text-to-speech (TTS) are
typically addressed as separate tasks. This paper introduces JAM-Flow, a
unified framework to simultaneously synthesize and condition on both facial
motion and speech. Our approach leverages flow matching and a novel Multi-Modal
Diffusion Transformer (MM-DiT) architecture, integrating specialized Motion-DiT
and Audio-DiT modules. These are coupled via selective joint attention layers
and incorporate key architectural choices, such as temporally aligned
positional embeddings and localized joint attention masking, to enable
effective cross-modal interaction while preserving modality-specific strengths.
Trained with an inpainting-style objective, JAM-Flow supports a wide array of
conditioning inputs-including text, reference audio, and reference
motion-facilitating tasks such as synchronized talking head generation from
text, audio-driven animation, and much more, within a single, coherent model.
JAM-Flow significantly advances multi-modal generative modeling by providing a
practical solution for holistic audio-visual synthesis. project page:
https://joonghyuk.com/jamflow-web