JAM-Flow: Совместный синтез аудио и движения с использованием сопоставления потоков
JAM-Flow: Joint Audio-Motion Synthesis with Flow Matching
June 30, 2025
Авторы: Mingi Kwon, Joonghyuk Shin, Jaeseok Jung, Jaesik Park, Youngjung Uh
cs.AI
Аннотация
Внутренняя связь между мимикой и речью часто упускается из виду в генеративном моделировании, где синтез говорящей головы и преобразование текста в речь (TTS) обычно рассматриваются как отдельные задачи. В данной статье представлен JAM-Flow — унифицированный фреймворк для одновременного синтеза и согласования как мимики, так и речи. Наш подход использует метод сопоставления потоков (flow matching) и новую архитектуру Multi-Modal Diffusion Transformer (MM-DiT), интегрирующую специализированные модули Motion-DiT и Audio-DiT. Эти модули связаны через слои избирательного совместного внимания и включают ключевые архитектурные решения, такие как временно выровненные позиционные эмбеддинги и локализованные маски совместного внимания, что позволяет эффективно взаимодействовать между модальностями, сохраняя при этом их специфические преимущества. Обучаемый с использованием задачи, аналогичной инпейнтингу, JAM-Flow поддерживает широкий спектр входных условий, включая текст, эталонный аудио- и эталонный модальный сигнал, что позволяет выполнять такие задачи, как синхронизированная генерация говорящей головы из текста, аудио-управляемая анимация и многое другое, в рамках единой согласованной модели. JAM-Flow значительно продвигает многомодальное генеративное моделирование, предлагая практическое решение для целостного аудиовизуального синтеза. Страница проекта: https://joonghyuk.com/jamflow-web
English
The intrinsic link between facial motion and speech is often overlooked in
generative modeling, where talking head synthesis and text-to-speech (TTS) are
typically addressed as separate tasks. This paper introduces JAM-Flow, a
unified framework to simultaneously synthesize and condition on both facial
motion and speech. Our approach leverages flow matching and a novel Multi-Modal
Diffusion Transformer (MM-DiT) architecture, integrating specialized Motion-DiT
and Audio-DiT modules. These are coupled via selective joint attention layers
and incorporate key architectural choices, such as temporally aligned
positional embeddings and localized joint attention masking, to enable
effective cross-modal interaction while preserving modality-specific strengths.
Trained with an inpainting-style objective, JAM-Flow supports a wide array of
conditioning inputs-including text, reference audio, and reference
motion-facilitating tasks such as synchronized talking head generation from
text, audio-driven animation, and much more, within a single, coherent model.
JAM-Flow significantly advances multi-modal generative modeling by providing a
practical solution for holistic audio-visual synthesis. project page:
https://joonghyuk.com/jamflow-web