ノイズ除去再利用：効率的なビデオ潜在生成のためのフレーム間モーションの一貫性を活用

Denoising Reuse: Exploiting Inter-frame Motion Consistency for Efficient Video Latent Generation

September 19, 2024

著者: Chenyu Wang, Shuo Yan, Yixuan Chen, Yujiang Wang, Mingzhi Dong, Xiaochen Yang, Dongsheng Li, Robert P. Dick, Qin Lv, Fan Yang, Tun Lu, Ning Gu, Li Shang

cs.AI

要旨

拡散ベースのモデルを使用したビデオ生成は、フレームごとの反復的な拡散プロセスによる高い計算コストに制約されています。本研究では、拡散再利用モーション（Dr. Mo）ネットワークを提案し、潜在的なビデオ生成を加速します。私たちの主な発見は、初期のノイズ除去ステップでの粗粒度のノイズが、連続するビデオフレーム間で高いモーション一貫性を示していることです。この観察に基づき、Dr. Moは、慎重に設計された軽量なフレーム間モーションを取り入れることで、粗粒度のノイズを次のフレームに伝播させ、フレームごとの拡散モデルにおける大規模な計算冗長性を排除します。より感度が高く細かいノイズは後のノイズ除去ステップで取得され、視覚的な品質を維持するために重要となります。そのため、どの中間ステップがモーションベースの伝播からノイズ除去に切り替わるべきかを決定することは重要な問題であり、効率と品質の間の主要なトレードオフです。Dr. Moは、動的に望ましい中間ステップをビデオフレーム全体で決定するためのメタネットワークであるDenoising Step Selector（DSS）を使用します。ビデオ生成および編集タスクにおける包括的な評価は、Dr. Moが視覚的な品質を向上させつつ、ビデオタスクにおける拡散モデルを大幅に加速できることを示しています。

English

Video generation using diffusion-based models is constrained by high computational costs due to the frame-wise iterative diffusion process. This work presents a Diffusion Reuse MOtion (Dr. Mo) network to accelerate latent video generation. Our key discovery is that coarse-grained noises in earlier denoising steps have demonstrated high motion consistency across consecutive video frames. Following this observation, Dr. Mo propagates those coarse-grained noises onto the next frame by incorporating carefully designed, lightweight inter-frame motions, eliminating massive computational redundancy in frame-wise diffusion models. The more sensitive and fine-grained noises are still acquired via later denoising steps, which can be essential to retain visual qualities. As such, deciding which intermediate steps should switch from motion-based propagations to denoising can be a crucial problem and a key tradeoff between efficiency and quality. Dr. Mo employs a meta-network named Denoising Step Selector (DSS) to dynamically determine desirable intermediate steps across video frames. Extensive evaluations on video generation and editing tasks have shown that Dr. Mo can substantially accelerate diffusion models in video tasks with improved visual qualities.