Super Star：デジタルヒューマンのためのストリーミング型リアルタイム対話エージェントを目指して

要旨

既存の共話ジェスチャ生成手法は、主にオフライン設定で研究されており、そこでは完全な音声セグメントからジェスチャが合成される。しかし、実世界のシナリオにおける対話型デジタルヒューマンは、厳格な遅延制約の下で、現在利用可能な応答音声のみを使用して、音声に同期したジェスチャをオンラインで生成する必要がある。その結果、従来手法は、将来の音声情報に依存するか、または相当な推論遅延を招くため、リアルタイム対話には適さない。本論文では、対話型デジタルヒューマンのためのオンライン共話ジェスチャ生成を定式化し、ストリーミング音声応答モジュールとオンラインジェスチャ生成モジュールを結合したリアルタイム対話型フレームワークを提案する。具体的には、ジェスチャ生成器は、ストリーミング応答音声と動作履歴から身体動作を予測する因果的マルチモーダル自己回帰モデルとして設計され、将来の音声にアクセスすることなく、低遅延かつ音声に同期したジェスチャ合成を可能にする。この設定を支援するために、仮想コンパニオンシナリオに特化したオフラインデータ合成パイプラインをさらに提案する。これは、トピックと感情を考慮した主題コーパスを活用して多様な人間とエージェントの対話を構築し、次にエージェントの応答に条件付けられた共話ジェスチャを生成する。さらに、オフラインデータ構築とオンライン展開の間のギャップを埋めるために、オンライン対話中に収集されたユーザーフィードバックをデータ生成プロセスに組み込む自己進化型トレーニングループを確立し、ユーザーの好みへの継続的な適応を可能にする。広範な実験により、我々のフレームワークは、競合する既存のベースラインよりも、より優れた遅延品質トレードオフ、より強力な音声と動作の同期、およびより高いユーザー嗜好性を達成することを実証する。プロジェクトページ: https://super-star-2026.github.io/

English

Existing co-speech gesture generation methods are predominantly studied in offline settings, where gestures are synthesized from complete speech segments. However, interactive digital humans in real-world scenarios are required to generate speech-synchronous gestures online, using only currently available response audio under strict latency constraints. As a result, prior methods are unsuitable for real-time interaction, as they either rely on future speech information or incur substantial inference delay. In this paper, we formulate online co-speech gesture generation for interactive digital humans and propose a real-time interactive framework that couples a streaming speech response module with an online gesture generation module. Specifically, the gesture generator is designed as a causal multimodal autoregressive model that predicts body motion from streaming response speech and motion history, enabling low-latency and speech-aligned gesture synthesis without access to future speech. To support this setting, we further propose an offline data synthesis pipeline tailored to virtual companion scenarios, which leverages topic- and emotion-aware subject corpora to construct diverse human-agent dialogues and then generates co-speech gestures conditioned on the agent responses. Moreover, to bridge the gap between offline data construction and online deployment, we establish a self-evolving training loop by incorporating user feedback collected during online interaction into the data generation process, enabling continual adaptation to user preferences. Extensive experiments demonstrate that our framework achieves superior better latency-quality trade-off, stronger speech-motion synchronization, and higher user preference than competitive existing baselines. Project Page: https://super-star-2026.github.io/