JAM-Flow: フローマッチングによる音声とモーションの統合生成

要旨

顔の動きと音声の本質的な関連性は、生成モデリングにおいてしばしば見過ごされており、トーキングヘッド合成とテキスト音声合成（TTS）は通常、別々のタスクとして扱われています。本論文では、顔の動きと音声を同時に合成し、条件付けするための統一フレームワークであるJAM-Flowを紹介します。我々のアプローチは、フローマッチングと新たなマルチモーダル拡散トランスフォーマー（MM-DiT）アーキテクチャを活用し、専門的なMotion-DiTとAudio-DiTモジュールを統合しています。これらは、選択的ジョイントアテンションレイヤーを介して結合され、時間的に整列した位置埋め込みや局所的なジョイントアテンションマスキングなどの重要なアーキテクチャ上の選択肢を取り入れることで、効果的なクロスモーダル相互作用を可能にしつつ、モダリティ固有の強みを保持します。インペインティングスタイルの目的関数で訓練されたJAM-Flowは、テキスト、参照音声、参照モーションなど、幅広い条件付け入力をサポートし、テキストからの同期したトーキングヘッド生成、音声駆動アニメーションなど、多様なタスクを単一の一貫したモデル内で実現します。JAM-Flowは、ホリスティックなオーディオビジュアル合成のための実用的なソリューションを提供することで、マルチモーダル生成モデリングを大きく前進させます。プロジェクトページ: https://joonghyuk.com/jamflow-web

English

The intrinsic link between facial motion and speech is often overlooked in generative modeling, where talking head synthesis and text-to-speech (TTS) are typically addressed as separate tasks. This paper introduces JAM-Flow, a unified framework to simultaneously synthesize and condition on both facial motion and speech. Our approach leverages flow matching and a novel Multi-Modal Diffusion Transformer (MM-DiT) architecture, integrating specialized Motion-DiT and Audio-DiT modules. These are coupled via selective joint attention layers and incorporate key architectural choices, such as temporally aligned positional embeddings and localized joint attention masking, to enable effective cross-modal interaction while preserving modality-specific strengths. Trained with an inpainting-style objective, JAM-Flow supports a wide array of conditioning inputs-including text, reference audio, and reference motion-facilitating tasks such as synchronized talking head generation from text, audio-driven animation, and much more, within a single, coherent model. JAM-Flow significantly advances multi-modal generative modeling by providing a practical solution for holistic audio-visual synthesis. project page: https://joonghyuk.com/jamflow-web

JAM-Flow: フローマッチングによる音声とモーションの統合生成

JAM-Flow: Joint Audio-Motion Synthesis with Flow Matching

要旨

Support