Ruisverwijdering Hergebruik: Het Benutten van Inter-frame Bewegingsconsistentie voor Efficiënte Video Latente Generatie

Denoising Reuse: Exploiting Inter-frame Motion Consistency for Efficient Video Latent Generation

September 19, 2024

Auteurs: Chenyu Wang, Shuo Yan, Yixuan Chen, Yujiang Wang, Mingzhi Dong, Xiaochen Yang, Dongsheng Li, Robert P. Dick, Qin Lv, Fan Yang, Tun Lu, Ning Gu, Li Shang

cs.AI

Samenvatting

Videogeneratie met behulp van diffusiegebaseerde modellen wordt beperkt door hoge computationele kosten als gevolg van het frame-voor-frame iteratieve diffusieproces. Dit werk introduceert een Diffusion Reuse MOtion (Dr. Mo) netwerk om de latentie videogeneratie te versnellen. Onze belangrijkste ontdekking is dat grofkorrelige ruis in eerdere denoising stappen een hoge bewegingsconsistentie heeft aangetoond over opeenvolgende videoframes. Naar aanleiding van deze observatie propageert Dr. Mo die grofkorrelige ruis naar het volgende frame door zorgvuldig ontworpen, lichtgewicht inter-frame bewegingen op te nemen, waardoor massale computationele redundantie in frame-voor-frame diffusiemodellen geëlimineerd wordt. De meer gevoelige en fijnkorrelige ruis wordt nog steeds verkregen via latere denoising stappen, die essentieel kunnen zijn om visuele kwaliteiten te behouden. Als zodanig kan het beslissen welke tussenliggende stappen moeten overschakelen van bewegingsgebaseerde propagaties naar denoising een cruciaal probleem zijn en een belangrijke afweging tussen efficiëntie en kwaliteit. Dr. Mo maakt gebruik van een meta-netwerk genaamd Denoising Step Selector (DSS) om dynamisch wenselijke tussenliggende stappen over videoframes te bepalen. Uitgebreide evaluaties van videogeneratie- en bewerkingstaken hebben aangetoond dat Dr. Mo aanzienlijk diffusiemodellen kan versnellen in videotaken met verbeterde visuele kwaliteiten.

English

Video generation using diffusion-based models is constrained by high computational costs due to the frame-wise iterative diffusion process. This work presents a Diffusion Reuse MOtion (Dr. Mo) network to accelerate latent video generation. Our key discovery is that coarse-grained noises in earlier denoising steps have demonstrated high motion consistency across consecutive video frames. Following this observation, Dr. Mo propagates those coarse-grained noises onto the next frame by incorporating carefully designed, lightweight inter-frame motions, eliminating massive computational redundancy in frame-wise diffusion models. The more sensitive and fine-grained noises are still acquired via later denoising steps, which can be essential to retain visual qualities. As such, deciding which intermediate steps should switch from motion-based propagations to denoising can be a crucial problem and a key tradeoff between efficiency and quality. Dr. Mo employs a meta-network named Denoising Step Selector (DSS) to dynamically determine desirable intermediate steps across video frames. Extensive evaluations on video generation and editing tasks have shown that Dr. Mo can substantially accelerate diffusion models in video tasks with improved visual qualities.