맥락 정합 증류: 자기회귀 비디오 증류를 위한 교사 인과성

초록

대화형 자기회귀 비디오 생성은 저지연 롤아웃과 정밀한 온라인 제어를 모두 요구한다. 소수 스텝 증류는 잡음 제거 스텝을 줄여 생성을 가속화하는 반면, 온라인 제어는 인과적 제약을 부과한다. 즉, 프레임과 블록은 생성 중에 이용 가능한 과거 이력과 제어에 의존해야 한다. 그러나 기존의 비디오 분포 정합 증류(DMD) 파이프라인은 종종 전체 클립을 스코어링하는 양방향 교사 모델을 사용하여 인과적 소수 스텝 학생 모델을 지도한다. 따라서 특정 대상에 대한 스코어는 학생 모델이 해당 대상을 생성할 때 이용할 수 없었던 미래 프레임과 제어에 의존할 수 있으며, 그 결과 교사 모델의 지도 신호는 학생 모델의 인과적 정보 집합과 정렬되지 않게 된다. 우리는 각 대상이 생성될 때 이용 가능한 정보에 교사 모델의 지도 신호를 정렬하는 인과적 DMD 프레임워크인 컨텍스트 정합 증류(CMD)를 도입한다. CMD는 양방향 전체 클립 스코어링을, 미래 프레임이나 제어에 접근하지 않고 각 대상을 평가하는 인과적 교사 모델로 대체한다. 동일한 인과적 교사 모델이 소수 스텝 학생 모델을 초기화함으로써, 교사 모델 훈련, 학생 모델 증류, 추론 전반에 걸쳐 일관된 인과적 정식화를 확립한다. 시간적 정보 경계를 정렬하는 것 외에도, 프리픽스 스코어링(Prefix Scoring)은 각 대상이 생성된 캐시된 학생 생성 프리픽스 하에서 해당 대상을 평가함으로써 지도 신호를 학생 모델의 실제 롤아웃 컨텍스트에 일치시킨다. 프리픽스 오염(Prefix Corruption)은 대상-컨텍스트 정렬을 유지하면서 훈련 초기에 생성된 불안정한 프리픽스를 교란함으로써 훈련을 더욱 안정화한다. 단순한 인과적 정식화를 통해 CMD는 프레임 단위 및 청크 단위 생성, 장기 비디오 증류, 카메라 조건부 증류로 자연스럽게 확장된다. 실험 결과, 단기 및 장기 비디오 벤치마크 모두에서 자기회귀 방법들 중 최고 수준의 종합 성능을 달성했으며, 시간에 따라 변화하는 카메라 제어 준수 능력도 크게 향상되었음을 입증한다.

English

Interactive autoregressive video generation demands both low-latency rollouts and precise online control. Few-step distillation accelerates generation by reducing denoising steps, while online control imposes a causal constraint: frames and blocks should depend on history and controls available during generation. Existing video distribution matching distillation (DMD) pipelines, however, often supervise causal few-step students using bidirectional teachers that score complete clips. The score for a target can therefore depend on future frames and controls that were unavailable when the student generated it, misaligning teacher supervision with the student's causal information set. We introduce Context-Matched Distillation (CMD), a causal DMD framework that aligns teacher supervision with the information available when each target is generated. CMD replaces bidirectional full-clip scoring with a causal teacher that evaluates each target without access to future frames or controls. The same causal teacher initializes the few-step student, establishing a consistent causal formulation across teacher training, student distillation, and inference. Beyond aligning the temporal information boundary, Prefix Scoring matches supervision to the student's realized rollout context by evaluating each target under the cached student-generated prefix that produced it. Prefix Corruption further stabilizes training by perturbing unreliable prefixes produced early in training while preserving this target-context alignment. With a simple causal formulation, CMD naturally extends to frame-wise and chunk-wise generation, long video distillation, and camera-conditioned distillation. Experiments demonstrate state-of-the-art aggregate performance among autoregressive methods on both short- and long-video benchmarks, together with substantially improved adherence to time-varying camera controls.