TPDiff: Modelo de Difusión de Pirámide Temporal para Vídeo

TPDiff: Temporal Pyramid Video Diffusion Model

March 12, 2025

Autores: Lingmin Ran, Mike Zheng Shou

cs.AI

Resumen

El desarrollo de modelos de difusión de video revela un desafío significativo: las demandas computacionales sustanciales. Para mitigar este desafío, observamos que el proceso inverso de difusión exhibe una naturaleza inherente de reducción de entropía. Dada la redundancia inter-cuadro en la modalidad de video, mantener tasas de cuadro completas en etapas de alta entropía no es necesario. Basándonos en esta idea, proponemos TPDiff, un marco unificado para mejorar la eficiencia en el entrenamiento y la inferencia. Al dividir la difusión en varias etapas, nuestro marco aumenta progresivamente la tasa de cuadro a lo largo del proceso de difusión, operando solo la última etapa a la tasa de cuadro completa, optimizando así la eficiencia computacional. Para entrenar el modelo de difusión multi-etapa, introducimos un marco de entrenamiento dedicado: difusión por etapas. Al resolver las ecuaciones diferenciales ordinarias (ODE) de flujo de probabilidad particionadas de la difusión bajo datos y ruido alineados, nuestra estrategia de entrenamiento es aplicable a diversas formas de difusión y mejora aún más la eficiencia del entrenamiento. Evaluaciones experimentales exhaustivas validan la generalidad de nuestro método, demostrando una reducción del 50% en el costo de entrenamiento y una mejora de 1.5x en la eficiencia de inferencia.

English

The development of video diffusion models unveils a significant challenge: the substantial computational demands. To mitigate this challenge, we note that the reverse process of diffusion exhibits an inherent entropy-reducing nature. Given the inter-frame redundancy in video modality, maintaining full frame rates in high-entropy stages is unnecessary. Based on this insight, we propose TPDiff, a unified framework to enhance training and inference efficiency. By dividing diffusion into several stages, our framework progressively increases frame rate along the diffusion process with only the last stage operating on full frame rate, thereby optimizing computational efficiency. To train the multi-stage diffusion model, we introduce a dedicated training framework: stage-wise diffusion. By solving the partitioned probability flow ordinary differential equations (ODE) of diffusion under aligned data and noise, our training strategy is applicable to various diffusion forms and further enhances training efficiency. Comprehensive experimental evaluations validate the generality of our method, demonstrating 50% reduction in training cost and 1.5x improvement in inference efficiency.