LiveAnimate: 실시간 안정적 장기 스트리밍 휴먼 애니메이션

초록

포즈 기반 인간 애니메이션은 단일 참조 이미지와 구동 포즈 스트림으로부터 대상 인물의 비디오를 합성한다. 실시간 생성은 라이브 스트리밍, 텔레프레즌스, 가상 아바타와 같은 대화형 응용에 필수적이지만, 확산 기반 시스템은 클립 하나를 생성하는 데 수십 분에서 수시간이 걸려 반응형 상호작용을 불가능하게 한다. 우리는 14B 파라미터 비디오 Diffusion Transformer(DiT)를 기반으로, 실시간 스트리밍과 십억(빌리언) 규모의 안정적인 장기(long-form) 생성을 결합한, 우리가 아는 한 최초의 애니메이션 시스템인 LiveAnimate를 제시한다. 2단계 훈련 파이프라인은 먼저 사전 훈련된 양방향 DiT를 참조-고정 교사 강제 적응(Reference-Anchored Teacher-Forcing Adaptation)을 통해 블록-인과적 자기회귀 생성기로 변환하고, 이어서 블록 단위 자기 강제 증류(Block-wise Self-Forcing Distillation)를 통해 샘플링 예산을 3단계로 줄인다. 장시간 스트림에서 외형을 보존하기 위해, 우리는 포즈 검색 싱크 어텐션(Pose-Retrieval Sink Attention, PR-Sink)을 도입한다. 이는 첫 번째 생성 블록을 영구적으로 고정하는 정적 싱크(Static Sink), 포즈 검색된 과거 블록을 보관하는 동적 싱크(Dynamic Sink), 그리고 3슬롯 롤링 윈도우를 결합한 제한된 KV-캐시 메커니즘이다. 포즈가 반복되면 PR-Sink는 전체 시퀀스를 유지하지 않고도 관련 외형 컨텍스트를 복원하므로, 스트림 길이와 무관하게 메모리와 블록당 지연 시간이 일정하게 유지된다. Ulysses 시퀀스 병렬 처리 및 연산자 융합과 함께, 이러한 설계는 NVIDIA H100 GPU 2개에서 19.63 FPS 스트리밍 추론을 가능하게 한다. 3분 벤치마크에서 LiveAnimate는 처음 30초부터 마지막 1분까지 거의 일정한 지각 품질과 정체성을 유지하는 반면, 기존 시스템은 동일한 롤아웃에서 상당한 성능 저하를 보이거나 수시간의 오프라인 연산을 요구한다. 이러한 결과는 대화형 전신 애니메이션의 품질, 지연 시간, 지속 시간 측면에서 새로운 동작점을 확립한다.

English

Pose-driven human animation synthesizes a video of a target person from a single reference image and a driving pose stream. Real-time generation is essential for interactive applications such as live streaming, telepresence, and virtual avatars, yet diffusion-based systems require minutes to hours per clip, precluding responsive interaction. We present LiveAnimate, to our knowledge the first animation system to combine real-time streaming with stable long-form generation at billion scale, built on a 14B-parameter video Diffusion Transformer (DiT). A two-stage training pipeline first adapts a pretrained bidirectional DiT into a block-causal autoregressive generator through Reference-Anchored Teacher-Forcing Adaptation, and then reduces the sampling budget to three steps through Block-wise Self-Forcing Distillation. To preserve appearance over extended streams, we introduce Pose-Retrieval Sink Attention (PR-Sink), a bounded KV-cache mechanism combining a Static Sink that permanently anchors the first generated block, a Dynamic Sink that holds a pose-retrieved historical block, and a three-slot Rolling Window. When a pose recurs, PR-Sink restores the relevant appearance context without retaining the entire sequence, so memory and per-block latency remain constant regardless of stream duration. Together with Ulysses sequence parallelism and operator fusion, these designs enable 19.63\,FPS streaming inference on two NVIDIA H100 GPUs. On a three-minute benchmark, LiveAnimate maintains nearly constant perceptual quality and identity from the first 30 seconds to the final minute, while prior systems degrade substantially or require hours of offline computation for the same rollout. These results establish a new operating point in quality, latency, and duration for interactive full-body animation.