TPDiff: Temporeel Piramide Video Diffusie Model

TPDiff: Temporal Pyramid Video Diffusion Model

March 12, 2025

Auteurs: Lingmin Ran, Mike Zheng Shou

cs.AI

Samenvatting

De ontwikkeling van videodiffusiemodellen onthult een aanzienlijke uitdaging: de grote rekenkundige eisen. Om deze uitdaging te verminderen, merken we op dat het omgekeerde proces van diffusie een inherent entropieverlagend karakter heeft. Gezien de redundantie tussen frames in de videomodaliteit, is het handhaven van volledige framesnelheden in hoog-entropiefasen niet nodig. Op basis van dit inzicht stellen we TPDiff voor, een uniform raamwerk om de efficiëntie van training en inferentie te verbeteren. Door diffusie in verschillende fasen te verdelen, verhoogt ons raamwerk geleidelijk de framesnelheid tijdens het diffusieproces, waarbij alleen de laatste fase op volledige framesnelheid werkt, waardoor de rekenkundige efficiëntie wordt geoptimaliseerd. Om het meerfasige diffusiemodel te trainen, introduceren we een specifiek trainingsraamwerk: fasenwijze diffusie. Door de gepartitioneerde waarschijnlijkheidsstroom gewone differentiaalvergelijkingen (ODE) van diffusie op te lossen onder uitgelijnde gegevens en ruis, is onze trainingsstrategie toepasbaar op verschillende diffusievormen en verbetert het verder de trainings efficiëntie. Uitgebreide experimentele evaluaties valideren de algemeenheid van onze methode, waarbij een vermindering van 50% in trainingskosten en een 1,5x verbetering in inferentie-efficiëntie wordt aangetoond.

English

The development of video diffusion models unveils a significant challenge: the substantial computational demands. To mitigate this challenge, we note that the reverse process of diffusion exhibits an inherent entropy-reducing nature. Given the inter-frame redundancy in video modality, maintaining full frame rates in high-entropy stages is unnecessary. Based on this insight, we propose TPDiff, a unified framework to enhance training and inference efficiency. By dividing diffusion into several stages, our framework progressively increases frame rate along the diffusion process with only the last stage operating on full frame rate, thereby optimizing computational efficiency. To train the multi-stage diffusion model, we introduce a dedicated training framework: stage-wise diffusion. By solving the partitioned probability flow ordinary differential equations (ODE) of diffusion under aligned data and noise, our training strategy is applicable to various diffusion forms and further enhances training efficiency. Comprehensive experimental evaluations validate the generality of our method, demonstrating 50% reduction in training cost and 1.5x improvement in inference efficiency.