AnimateLCM: Aceleración de la Animación en Modelos de Difusión Personalizados y Adaptadores con Aprendizaje de Consistencia Desacoplado

AnimateLCM: Accelerating the Animation of Personalized Diffusion Models and Adapters with Decoupled Consistency Learning

February 1, 2024

Autores: Fu-Yun Wang, Zhaoyang Huang, Xiaoyu Shi, Weikang Bian, Guanglu Song, Yu Liu, Hongsheng Li

cs.AI

Resumen

Los modelos de difusión de video han ido ganando cada vez más atención por su capacidad para producir videos que son tanto coherentes como de alta fidelidad. Sin embargo, el proceso iterativo de eliminación de ruido lo hace computacionalmente intensivo y lento, lo que limita sus aplicaciones. Inspirados por el Modelo de Consistencia (CM), que destila modelos de difusión de imágenes preentrenados para acelerar el muestreo con un número mínimo de pasos, y su exitosa extensión, el Modelo de Consistencia Latente (LCM) en la generación condicional de imágenes, proponemos AnimateLCM, que permite la generación de videos de alta fidelidad en un número mínimo de pasos. En lugar de realizar directamente el aprendizaje de consistencia en el conjunto de datos de video crudo, proponemos una estrategia de aprendizaje de consistencia desacoplada que separa la destilación de los conocimientos previos de generación de imágenes y los conocimientos previos de generación de movimiento, lo que mejora la eficiencia del entrenamiento y aumenta la calidad visual de la generación. Además, para permitir la combinación de adaptadores plug-and-play en la comunidad de difusión estable para lograr diversas funciones (por ejemplo, ControlNet para la generación controlable), proponemos una estrategia eficiente para adaptar los adaptadores existentes a nuestro modelo de consistencia de video condicionado por texto destilado o para entrenar adaptadores desde cero sin afectar la velocidad de muestreo. Validamos la estrategia propuesta en la generación de video condicionada por imágenes y en la generación de video condicionada por diseño, logrando resultados de primer nivel. Los resultados experimentales validan la eficacia de nuestro método propuesto. El código y los pesos se harán públicos. Más detalles están disponibles en https://github.com/G-U-N/AnimateLCM.

English

Video diffusion models has been gaining increasing attention for its ability to produce videos that are both coherent and of high fidelity. However, the iterative denoising process makes it computationally intensive and time-consuming, thus limiting its applications. Inspired by the Consistency Model (CM) that distills pretrained image diffusion models to accelerate the sampling with minimal steps and its successful extension Latent Consistency Model (LCM) on conditional image generation, we propose AnimateLCM, allowing for high-fidelity video generation within minimal steps. Instead of directly conducting consistency learning on the raw video dataset, we propose a decoupled consistency learning strategy that decouples the distillation of image generation priors and motion generation priors, which improves the training efficiency and enhance the generation visual quality. Additionally, to enable the combination of plug-and-play adapters in stable diffusion community to achieve various functions (e.g., ControlNet for controllable generation). we propose an efficient strategy to adapt existing adapters to our distilled text-conditioned video consistency model or train adapters from scratch without harming the sampling speed. We validate the proposed strategy in image-conditioned video generation and layout-conditioned video generation, all achieving top-performing results. Experimental results validate the effectiveness of our proposed method. Code and weights will be made public. More details are available at https://github.com/G-U-N/AnimateLCM.