Удаление шума с повторным использованием: использование согласованности движения между кадрами для эффективной генерации скрытого видео.

Denoising Reuse: Exploiting Inter-frame Motion Consistency for Efficient Video Latent Generation

September 19, 2024

Авторы: Chenyu Wang, Shuo Yan, Yixuan Chen, Yujiang Wang, Mingzhi Dong, Xiaochen Yang, Dongsheng Li, Robert P. Dick, Qin Lv, Fan Yang, Tun Lu, Ning Gu, Li Shang

cs.AI

Аннотация

Генерация видео с использованием моделей на основе диффузии ограничена высокими вычислительными затратами из-за итеративного процесса диффузии по кадрам. В данной работе представлена сеть Diffusion Reuse MOtion (Dr. Mo) для ускорения генерации латентного видео. Нашим ключевым открытием является то, что крупнозернистые шумы на ранних этапах денойзинга продемонстрировали высокую согласованность движения между последовательными кадрами видео. Исходя из этого наблюдения, Dr. Mo передает эти крупнозернистые шумы на следующий кадр, интегрируя тщательно разработанные, легкие межкадровые движения, устраняя массовую вычислительную избыточность в моделях диффузии по кадрам. Более чувствительные и мелкозернистые шумы все еще получаются на более поздних этапах денойзинга, что может быть важным для сохранения визуального качества. Таким образом, определение того, на каком промежуточном этапе следует переключиться с передачи на основе движения на денойзинг, может быть ключевой проблемой и важным компромиссом между эффективностью и качеством. Dr. Mo использует мета-сеть под названием Denoising Step Selector (DSS) для динамического определения желательных промежуточных этапов на протяжении кадров видео. Обширные оценки на задачах генерации и редактирования видео показали, что Dr. Mo может существенно ускорить модели диффузии в видеозадачах с улучшенным визуальным качеством.

English

Video generation using diffusion-based models is constrained by high computational costs due to the frame-wise iterative diffusion process. This work presents a Diffusion Reuse MOtion (Dr. Mo) network to accelerate latent video generation. Our key discovery is that coarse-grained noises in earlier denoising steps have demonstrated high motion consistency across consecutive video frames. Following this observation, Dr. Mo propagates those coarse-grained noises onto the next frame by incorporating carefully designed, lightweight inter-frame motions, eliminating massive computational redundancy in frame-wise diffusion models. The more sensitive and fine-grained noises are still acquired via later denoising steps, which can be essential to retain visual qualities. As such, deciding which intermediate steps should switch from motion-based propagations to denoising can be a crucial problem and a key tradeoff between efficiency and quality. Dr. Mo employs a meta-network named Denoising Step Selector (DSS) to dynamically determine desirable intermediate steps across video frames. Extensive evaluations on video generation and editing tasks have shown that Dr. Mo can substantially accelerate diffusion models in video tasks with improved visual qualities.