인과적 강제: 고품질 실시간 인터랙티브 비디오 생성을 위한 올바른 자기회귀 확산 증류

Causal Forcing: Autoregressive Diffusion Distillation Done Right for High-Quality Real-Time Interactive Video Generation

February 2, 2026

저자: Hongzhou Zhu, Min Zhao, Guande He, Hang Su, Chongxuan Li, Jun Zhu

cs.AI

초록

실시간 상호작용 비디오 생성을 달성하기 위해 현재 방법들은 사전 학습된 양방향 비디오 확산 모델을 소수 단계의 자기회귀(AR) 모델로 증류하는데, 이때 전체 어텐션이 인과적 어텐션으로 대체되며 구조적 차이가 발생합니다. 그러나 기존 접근법들은 이 차이를 이론적으로 해결하지 못합니다. 기존 방법은 ODE 증류를 통해 AR 학생 모델을 초기화하는데, 이는 프레임 수준의 단사 조건을 요구합니다. 즉, 각 노이즈 프레임이 AR 교사 모델의 PF-ODE 하에서 고유한 클린 프레임에 매핑되어야 합니다. 양방향 교사 모델에서 AR 학생 모델을 증류하는 것은 이 조건을 위반하여 교사 모델의 흐름 맵 복구를 방해하고 대신 조건부 기대 해를 유도하여 성능 저하를 초래합니다. 이 문제를 해결하기 위해 우리는 ODE 초기화에 AR 교사 모델을 사용하는 Causal Forcing을 제안하여 구조적 차이를 해소합니다. 실험 결과는 우리 방법이 모든 평가 지표에서 기준선을 능가하며, SOTA인 Self Forcing 대비 Dynamic Degree에서 19.3%, VisionReward에서 8.7%, Instruction Following에서 16.7% 향상되었음을 보여줍니다. 프로젝트 페이지 및 코드: https://thu-ml.github.io/CausalForcing.github.io/

English

To achieve real-time interactive video generation, current methods distill pretrained bidirectional video diffusion models into few-step autoregressive (AR) models, facing an architectural gap when full attention is replaced by causal attention. However, existing approaches do not bridge this gap theoretically. They initialize the AR student via ODE distillation, which requires frame-level injectivity, where each noisy frame must map to a unique clean frame under the PF-ODE of an AR teacher. Distilling an AR student from a bidirectional teacher violates this condition, preventing recovery of the teacher's flow map and instead inducing a conditional-expectation solution, which degrades performance. To address this issue, we propose Causal Forcing that uses an AR teacher for ODE initialization, thereby bridging the architectural gap. Empirical results show that our method outperforms all baselines across all metrics, surpassing the SOTA Self Forcing by 19.3\% in Dynamic Degree, 8.7\% in VisionReward, and 16.7\% in Instruction Following. Project page and the code: https://thu-ml.github.io/CausalForcing.github.io/{https://thu-ml.github.io/CausalForcing.github.io/}