TPDiff : Modèle de diffusion vidéo à pyramide temporelle

TPDiff: Temporal Pyramid Video Diffusion Model

March 12, 2025

Auteurs: Lingmin Ran, Mike Zheng Shou

cs.AI

Résumé

Le développement des modèles de diffusion vidéo révèle un défi majeur : les exigences computationnelles substantielles. Pour atténuer ce défi, nous observons que le processus inverse de diffusion présente une nature intrinsèque de réduction d'entropie. Compte tenu de la redondance inter-images dans la modalité vidéo, maintenir des fréquences d'images complètes dans les étapes à haute entropie n'est pas nécessaire. Sur la base de cette observation, nous proposons TPDiff, un cadre unifié pour améliorer l'efficacité de l'entraînement et de l'inférence. En divisant la diffusion en plusieurs étapes, notre cadre augmente progressivement la fréquence d'images tout au long du processus de diffusion, avec seulement la dernière étape opérant à pleine fréquence d'images, optimisant ainsi l'efficacité computationnelle. Pour entraîner le modèle de diffusion multi-étapes, nous introduisons un cadre d'entraînement dédié : la diffusion par étapes. En résolvant les équations différentielles ordinaires (EDO) de flux de probabilité partitionnées de la diffusion sous des données et bruit alignés, notre stratégie d'entraînement est applicable à diverses formes de diffusion et améliore encore l'efficacité de l'entraînement. Des évaluations expérimentales complètes valident la généralité de notre méthode, démontrant une réduction de 50 % des coûts d'entraînement et une amélioration de 1,5x de l'efficacité de l'inférence.

English

The development of video diffusion models unveils a significant challenge: the substantial computational demands. To mitigate this challenge, we note that the reverse process of diffusion exhibits an inherent entropy-reducing nature. Given the inter-frame redundancy in video modality, maintaining full frame rates in high-entropy stages is unnecessary. Based on this insight, we propose TPDiff, a unified framework to enhance training and inference efficiency. By dividing diffusion into several stages, our framework progressively increases frame rate along the diffusion process with only the last stage operating on full frame rate, thereby optimizing computational efficiency. To train the multi-stage diffusion model, we introduce a dedicated training framework: stage-wise diffusion. By solving the partitioned probability flow ordinary differential equations (ODE) of diffusion under aligned data and noise, our training strategy is applicable to various diffusion forms and further enhances training efficiency. Comprehensive experimental evaluations validate the generality of our method, demonstrating 50% reduction in training cost and 1.5x improvement in inference efficiency.