Motion-Omni：音声対話のためのエンドツーエンドな音声・全身動作統合生成

要旨

対話を行うアバターは、何を話すかを決定すると同時に、話しながらどのように動くかを決定する必要がある。しかし、これらの能力は別々のモデル系統に存在している。すなわち、音声対話モデルは動作を伴わない音声を生成する一方、共音声動作モデル(co-speech motion model)は与えられた音声からのみ動作を生成する。標準的な対策はカスケード方式、つまり最初に音声応答を生成し、その完成した音声に対して動作モデルを実行する方法である。この方式では2回目の完全な推論パスが必要となり、両者間の共同最適化は不可能になる。我々はMotion-Omniを提案する。これは、音声対話モデルが、音声を生成する隠れ状態から直接、明示的な表情を手・上半身・下半身の動作とともにネイティブに出力するエンドツーエンドのフレームワークである。ここで共同訓練は必須である。音声経路を凍結したままでは動作と音声のミスアライメントが解消されず、LLM・音声生成器・動作生成器を両方の目的関数の下で共適応させることによってのみ、音声対話能力を維持しながらアライメントを回復できる。教師信号は、スケーラブルでモデルに依存しないパイプラインから得られる。このパイプラインは、一貫した話者音声による応答に対して、交換可能な動作教師モデルを用いて擬似ラベルを付与し、品質順にランク付けされた422,856ペア(1,402時間)を生成する。さらに我々は、SwDA-500と、我々の知る限り初となる、確率的かつオープンエンドな全身動作を伴う音声対話のための公開評価プロトコルもリリースする。本プロトコルは、動作生成システム間で同一音声をマッチングしつつ、レンダリング、自動評価指標、人間評価、遅延計測を統一的に扱う。 Qwen2.5-7B-Instructをバックボーンとして実装されたMotion-Omni-Q7は、参照フリーの動作指標において、同一音声を用いる教師カスケードと2%以内の差で一致しつつ、応答速度は5.4倍高速であり(RTF=0.78、実時間より高速)、ビート相関と多様性において非教師カスケードのすべてを上回り、比較対象となったオムニモーダルシステムの中で最低となる2.62%の語誤り率(WER)を達成する。

English

An avatar that holds a conversation should decide what to say and to move while saying it, yet these abilities live in separate model families: spoken dialogue models produce speech without motion, and co-speech motion models produce motion only from audio handed to them. The standard remedy is a cascade that first generates the spoken response and then runs a motion model over the finished audio, which requires a second full inference pass and precludes any joint optimisation between the two. We present Motion-Omni, an end-to-end framework in which a spoken dialogue model natively outputs explicit facial expression together with hand, upper-body and lower-body motion, generated directly from the hidden states that produce the speech. Joint training is not optional here: with the speech pathway frozen, motion remains misaligned with the audio, and co-adapting the LLM, Speech Generator and Motion Generator under both objectives is what recovers alignment while retaining spoken-dialogue ability. Supervision comes from a scalable, model-agnostic pipeline that pseudo-labels consistent-voice speech responses with a replaceable motion teacher, yielding 422,856 quality-ranked pairs (1,402 hours). We further release SwDA-500 and, to our knowledge, the first public evaluation protocol for stochastic open-ended full-body spoken dialogue, matching audio across motion systems while unifying rendering, automatic metrics, human evaluation, and latency measurement. Instantiated with a Qwen2.5-7B-Instruct backbone, Motion-Omni-Q7 matches the same-audio teacher cascade to within 2% on reference-free motion metrics while responding 5.4 x faster (RTF=0.78, faster than real time), surpasses all non-teacher cascades on beat correlation and diversity, and reaches a 2.62% word error rate, the lowest among the omni-modal systems compared.