JAM-Flow: Síntesis Conjunta de Audio y Movimiento con Emparejamiento de Flujos
JAM-Flow: Joint Audio-Motion Synthesis with Flow Matching
June 30, 2025
Autores: Mingi Kwon, Joonghyuk Shin, Jaeseok Jung, Jaesik Park, Youngjung Uh
cs.AI
Resumen
La conexión intrínseca entre el movimiento facial y el habla a menudo se pasa por alto en el modelado generativo, donde la síntesis de cabezas parlantes y la conversión de texto a voz (TTS) suelen abordarse como tareas separadas. Este artículo presenta JAM-Flow, un marco unificado para sintetizar y condicionar simultáneamente tanto el movimiento facial como el habla. Nuestro enfoque aprovecha el emparejamiento de flujos y una novedosa arquitectura de Transformador de Difusión Multi-Modal (MM-DiT), que integra módulos especializados Motion-DiT y Audio-DiT. Estos están acoplados mediante capas de atención conjunta selectiva e incorporan decisiones arquitectónicas clave, como incrustaciones posicionales temporalmente alineadas y enmascaramiento de atención conjunta localizada, para permitir una interacción multimodal efectiva mientras se preservan las fortalezas específicas de cada modalidad. Entrenado con un objetivo de estilo de inpainting, JAM-Flow admite una amplia variedad de entradas de condicionamiento, incluyendo texto, audio de referencia y movimiento de referencia, facilitando tareas como la generación sincronizada de cabezas parlantes a partir de texto, animación impulsada por audio y mucho más, dentro de un único modelo coherente. JAM-Flow avanza significativamente en el modelado generativo multimodal al proporcionar una solución práctica para la síntesis audiovisual holística. Página del proyecto: https://joonghyuk.com/jamflow-web.
English
The intrinsic link between facial motion and speech is often overlooked in
generative modeling, where talking head synthesis and text-to-speech (TTS) are
typically addressed as separate tasks. This paper introduces JAM-Flow, a
unified framework to simultaneously synthesize and condition on both facial
motion and speech. Our approach leverages flow matching and a novel Multi-Modal
Diffusion Transformer (MM-DiT) architecture, integrating specialized Motion-DiT
and Audio-DiT modules. These are coupled via selective joint attention layers
and incorporate key architectural choices, such as temporally aligned
positional embeddings and localized joint attention masking, to enable
effective cross-modal interaction while preserving modality-specific strengths.
Trained with an inpainting-style objective, JAM-Flow supports a wide array of
conditioning inputs-including text, reference audio, and reference
motion-facilitating tasks such as synchronized talking head generation from
text, audio-driven animation, and much more, within a single, coherent model.
JAM-Flow significantly advances multi-modal generative modeling by providing a
practical solution for holistic audio-visual synthesis. project page:
https://joonghyuk.com/jamflow-web