JAM-Flow: Síntese Conjunta de Áudio-Movimento com Correspondência de Fluxo
JAM-Flow: Joint Audio-Motion Synthesis with Flow Matching
June 30, 2025
Autores: Mingi Kwon, Joonghyuk Shin, Jaeseok Jung, Jaesik Park, Youngjung Uh
cs.AI
Resumo
A conexão intrínseca entre o movimento facial e a fala é frequentemente negligenciada na modelagem generativa, onde a síntese de cabeças falantes e a conversão de texto em fala (TTS) são tipicamente tratadas como tarefas separadas. Este artigo apresenta o JAM-Flow, um framework unificado para sintetizar e condicionar simultaneamente tanto o movimento facial quanto a fala. Nossa abordagem aproveita o flow matching e uma nova arquitetura de Transformador de Difusão Multi-Modal (MM-DiT), integrando módulos especializados de Motion-DiT e Audio-DiT. Esses módulos são acoplados por meio de camadas de atenção conjunta seletiva e incorporam escolhas arquitetônicas-chave, como embeddings posicionais temporalmente alinhados e máscaras de atenção conjunta localizada, para permitir uma interação multimodal eficaz enquanto preservam as características específicas de cada modalidade. Treinado com um objetivo no estilo de inpainting, o JAM-Flow suporta uma ampla gama de entradas de condicionamento — incluindo texto, áudio de referência e movimento de referência — facilitando tarefas como a geração sincronizada de cabeças falantes a partir de texto, animação dirigida por áudio e muito mais, tudo dentro de um único modelo coerente. O JAM-Flow avança significativamente a modelagem generativa multimodal ao fornecer uma solução prática para a síntese audiovisual holística. Página do projeto: https://joonghyuk.com/jamflow-web
English
The intrinsic link between facial motion and speech is often overlooked in
generative modeling, where talking head synthesis and text-to-speech (TTS) are
typically addressed as separate tasks. This paper introduces JAM-Flow, a
unified framework to simultaneously synthesize and condition on both facial
motion and speech. Our approach leverages flow matching and a novel Multi-Modal
Diffusion Transformer (MM-DiT) architecture, integrating specialized Motion-DiT
and Audio-DiT modules. These are coupled via selective joint attention layers
and incorporate key architectural choices, such as temporally aligned
positional embeddings and localized joint attention masking, to enable
effective cross-modal interaction while preserving modality-specific strengths.
Trained with an inpainting-style objective, JAM-Flow supports a wide array of
conditioning inputs-including text, reference audio, and reference
motion-facilitating tasks such as synchronized talking head generation from
text, audio-driven animation, and much more, within a single, coherent model.
JAM-Flow significantly advances multi-modal generative modeling by providing a
practical solution for holistic audio-visual synthesis. project page:
https://joonghyuk.com/jamflow-web