일관된 긴 동영상을 위한 훈련 없는 무한 프레임 생성 향상

초록

상당한 계산 오버헤드 없이 훈련 없이 긴 비디오를 생성하는 방법은 기반 비디오 생성 모델이 더 긴 비디오를 생성할 수 있도록 하는 것을 목표로 한다. 프레임 수준 자기회귀 프레임워크(예: FIFO-확산)는 일정한 메모리 소비로 무한히 긴 비디오를 생성할 수 있는 장점을 제공한다. 그러나 훈련과 추론 간의 불일치와 장기적 일관성 유지의 어려움으로 인해 기반 모델의 효과적인 활용이 제한된다. 이러한 문제를 완화하기 위해 우리는 MIGA라는 새로운 무한 프레임 장기 비디오 생성 방법을 제안한다. 첫째, 모델에 입력되는 과도한 노이즈 범위를 줄여 훈련-추론 격차를 완화하는 효과적인 2단계 정렬 메커니즘을 제안한다. 그런 다음, 초기 고노이즈 프레임을 교정하는 자기 반성 접근법과 넓은 범위를 포괄하는 후기 저노이즈 프레임을 활용하여 생성을 유도하는 장거리 프레임 안내 접근법을 결합하여 시간적 일관성을 공동으로 향상시키는 혁신적인 이중 일관성 강화 메커니즘을 도입한다. VBench와 NarrLV에 대한 광범위한 실험은 MIGA의 최첨단 성능을 입증한다. 프로젝트 페이지는 https://xiaokunfeng.github.io/miga_homepage/에서 확인할 수 있다.

English

Without incurring significant computational overhead, train-free long video generation aims to enable foundation video generation models to produce longer videos. Frame-level autoregressive frameworks, e.g., FIFO-diffusion, offer the advantage of generating infinitely long videos with constant memory consumption. However, the mismatch between training and inference, coupled with the challenge of maintaining long-term consistency, limits the effective utilization of foundation models. To mitigate these concerns, we propose MIGA, a novel infinite-frame long video generation method. Firstly, we propose an effective two-stage alignment mechanism that mitigates the training-inference gap by reducing the excessive noise span fed to the model. We then introduce an innovative dual consistency enhancement mechanism, where the self-reflection approach corrects early high-noise frames and the long-range frame guidance approach leverages later low-noise frames with broad coverage to steer generation, jointly improving temporal consistency. Extensive experiments on VBench and NarrLV demonstrate the state-of-the-art performance of MIGA. Our project page is available at https://xiaokunfeng.github.io/miga_homepage/.