LiveAnimate：長時間ストリーミング人間アニメーションのリアルタイム安定生成

要旨

ポーズ駆動の人物アニメーションは、単一の参照画像と駆動ポーズストリームから対象人物のビデオを合成する。リアルタイム生成は、ライブ配信、テレプレゼンス、仮想アバターなどのインタラクティブアプリケーションにとって不可欠であるが、拡散ベースのシステムはクリップあたり数分から数時間を要し、応答性の高いインタラクションを妨げる。我々は、我々の知る限り、14Bパラメータのビデオ拡散Transformer（DiT）上に構築され、10億パラメータ規模でリアルタイムストリーミングと安定した長時間生成を組み合わせた初のアニメーションシステムであるLiveAnimateを提案する。2段階のトレーニングパイプラインは、まず事前学習された双方向DiTを、参照アンカー付きティーチャーフォーシング適応（Reference-Anchored Teacher-Forcing Adaptation）を通じてブロック因果的自己回帰生成器に適応させ、次にブロック単位自己フォーシング蒸留（Block-wise Self-Forcing Distillation）によってサンプリング予算を3ステップに削減する。長時間のストリームにわたって外観を維持するために、最初の生成ブロックを恒久的に固定する静的シンク（Static Sink）、ポーズ検索された履歴ブロックを保持する動的シンク（Dynamic Sink）、および3スロットのローリングウィンドウを組み合わせた、容量制限付きKVキャッシュ機構であるポーズ検索シンクアテンション（PR-Sink）を導入する。ポーズが繰り返されると、PR-Sinkはシーケンス全体を保持することなく関連する外観コンテキストを復元するため、メモリとブロックあたりのレイテンシはストリームの長さに関係なく一定に保たれる。Ulyssesシーケンス並列処理と演算子融合とともに、これらの設計により、NVIDIA H100 GPU 2基上で19.63 FPSのストリーミング推論を実現する。3分間のベンチマークでは、LiveAnimateは最初の30秒から最後の1分までほぼ一定の知覚品質と人物同一性を維持する一方、従来システムは同じロールアウトで大幅に劣化するか、数時間のオフライン計算を必要とする。これらの結果は、インタラクティブな全身アニメーションの品質、レイテンシ、持続時間において新たな動作点を確立するものである。

English

Pose-driven human animation synthesizes a video of a target person from a single reference image and a driving pose stream. Real-time generation is essential for interactive applications such as live streaming, telepresence, and virtual avatars, yet diffusion-based systems require minutes to hours per clip, precluding responsive interaction. We present LiveAnimate, to our knowledge the first animation system to combine real-time streaming with stable long-form generation at billion scale, built on a 14B-parameter video Diffusion Transformer (DiT). A two-stage training pipeline first adapts a pretrained bidirectional DiT into a block-causal autoregressive generator through Reference-Anchored Teacher-Forcing Adaptation, and then reduces the sampling budget to three steps through Block-wise Self-Forcing Distillation. To preserve appearance over extended streams, we introduce Pose-Retrieval Sink Attention (PR-Sink), a bounded KV-cache mechanism combining a Static Sink that permanently anchors the first generated block, a Dynamic Sink that holds a pose-retrieved historical block, and a three-slot Rolling Window. When a pose recurs, PR-Sink restores the relevant appearance context without retaining the entire sequence, so memory and per-block latency remain constant regardless of stream duration. Together with Ulysses sequence parallelism and operator fusion, these designs enable 19.63\,FPS streaming inference on two NVIDIA H100 GPUs. On a three-minute benchmark, LiveAnimate maintains nearly constant perceptual quality and identity from the first 30 seconds to the final minute, while prior systems degrade substantially or require hours of offline computation for the same rollout. These results establish a new operating point in quality, latency, and duration for interactive full-body animation.