Causal Forcing++: Destilação Escalável de Difusão Autorregressiva de Poucos Passos para Geração de Vídeo Interativo em Tempo Real

Resumo

A geração interativa de vídeo em tempo real requer baixa latência, transmissão contínua e rollout controlável. Métodos existentes de destilação por difusão autorregressiva (AR) alcançaram resultados sólidos no regime de 4 passos por bloco, destilando modelos de base bidirecionais em modelos alunos AR de poucos passos, mas ainda são limitados por granularidade grossa de resposta e latência de amostragem não desprezível. Neste artigo, estudamos um cenário mais agressivo: autorregressão quadro a quadro com apenas 1–2 passos de amostragem. Nesse regime, identificamos que a inicialização de um modelo aluno AR de poucos passos é o principal gargalo: as estratégias existentes são ou mal alinhadas ao alvo, incapazes de gerar em poucos passos, ou muito custosas para escalar. Propomos o Causal Forcing++, um pipeline escalável e fundamentado que usa destilação de consistência causal (causal CD) para inicialização AR de poucos passos. A ideia central é que a causal CD aprende o mesmo mapa de fluxo condicionado à AR que a destilação por EDO causal, mas obtém supervisão de um único passo do modelo professor da EDO online entre passos de tempo adjacentes, evitando a necessidade de pré-computar e armazenar trajetórias completas da PF-EDO. Isso torna a inicialização mais eficiente e mais fácil de otimizar. O pipeline resultante, \ours, supera o estado da arte Causal Forcing de 4 passos por bloco sob o \textbf{cenário de 2 passos quadro a quadro} em 0,1 no VBench Total, 0,3 no VBench Qualidade e 0,335 no VisionReward, ao mesmo tempo que reduz a latência do primeiro quadro em 50% e o custo de treinamento do Estágio 2 em cerca de 4 vezes. Estendemos ainda o pipeline para geração de modelos de mundo condicionados a ações, no espírito do Genie3. Página do Projeto: https://github.com/thu-ml/Causal-Forcing e https://github.com/shengshu-ai/minWM .

English

Real-time interactive video generation requires low-latency, streaming, and controllable rollout. Existing autoregressive (AR) diffusion distillation methods have achieved strong results in the chunk-wise 4-step regime by distilling bidirectional base models into few-step AR students, but they remain limited by coarse response granularity and non-negligible sampling latency. In this paper, we study a more aggressive setting: frame-wise autoregression with only 1--2 sampling steps. In this regime, we identify the initialization of a few-step AR student as the key bottleneck: existing strategies are either target-misaligned, incapable of few-step generation, or too costly to scale. We propose Causal Forcing++, a principled and scalable pipeline that uses causal consistency distillation (causal CD) for few-step AR initialization. The core idea is that causal CD learns the same AR-conditional flow map as causal ODE distillation, but obtains supervision from a single online teacher ODE step between adjacent timesteps, avoiding the need to precompute and store full PF-ODE trajectories. This makes the initialization both more efficient and easier to optimize. The resulting pipeline, \ours, surpasses the SOTA 4-step chunk-wise Causal Forcing under the \textbf{frame-wise 2-step setting} by 0.1 in VBench Total, 0.3 in VBench Quality, and 0.335 in VisionReward, while reducing first-frame latency by 50\% and Stage 2 training cost by sim4times. We further extend the pipeline to action-conditioned world model generation in the spirit of Genie3. Project Page: https://github.com/thu-ml/Causal-Forcing and https://github.com/shengshu-ai/minWM .