TPDiff: Modello di Diffusione Video a Piramide Temporale

TPDiff: Temporal Pyramid Video Diffusion Model

March 12, 2025

Autori: Lingmin Ran, Mike Zheng Shou

cs.AI

Abstract

Lo sviluppo dei modelli di diffusione video rivela una sfida significativa: le elevate esigenze computazionali. Per mitigare questa sfida, osserviamo che il processo inverso della diffusione presenta una natura intrinsecamente riduttiva dell'entropia. Considerando la ridondanza inter-fotogramma nella modalità video, mantenere frame rate completi nelle fasi ad alta entropia non è necessario. Basandoci su questa intuizione, proponiamo TPDiff, un framework unificato per migliorare l'efficienza nell'addestramento e nell'inferenza. Suddividendo la diffusione in diverse fasi, il nostro framework aumenta progressivamente il frame rate lungo il processo di diffusione, con solo l'ultima fase che opera a frame rate completo, ottimizzando così l'efficienza computazionale. Per addestrare il modello di diffusione multi-fase, introduciamo un framework di addestramento dedicato: la diffusione per fasi. Risolvendo le equazioni differenziali ordinarie (ODE) del flusso di probabilità partizionato della diffusione sotto dati e rumore allineati, la nostra strategia di addestramento è applicabile a varie forme di diffusione e migliora ulteriormente l'efficienza dell'addestramento. Valutazioni sperimentali complete convalidano la generalità del nostro metodo, dimostrando una riduzione del 50% nel costo di addestramento e un miglioramento di 1,5x nell'efficienza dell'inferenza.

English

The development of video diffusion models unveils a significant challenge: the substantial computational demands. To mitigate this challenge, we note that the reverse process of diffusion exhibits an inherent entropy-reducing nature. Given the inter-frame redundancy in video modality, maintaining full frame rates in high-entropy stages is unnecessary. Based on this insight, we propose TPDiff, a unified framework to enhance training and inference efficiency. By dividing diffusion into several stages, our framework progressively increases frame rate along the diffusion process with only the last stage operating on full frame rate, thereby optimizing computational efficiency. To train the multi-stage diffusion model, we introduce a dedicated training framework: stage-wise diffusion. By solving the partitioned probability flow ordinary differential equations (ODE) of diffusion under aligned data and noise, our training strategy is applicable to various diffusion forms and further enhances training efficiency. Comprehensive experimental evaluations validate the generality of our method, demonstrating 50% reduction in training cost and 1.5x improvement in inference efficiency.