TPDiff: Modelo de Difusão de Vídeo com Pirâmide Temporal

TPDiff: Temporal Pyramid Video Diffusion Model

March 12, 2025

Autores: Lingmin Ran, Mike Zheng Shou

cs.AI

Resumo

O desenvolvimento de modelos de difusão de vídeo revela um desafio significativo: as demandas computacionais substanciais. Para mitigar esse desafio, observamos que o processo reverso da difusão exibe uma natureza intrínseca de redução de entropia. Dada a redundância inter-quadros na modalidade de vídeo, manter taxas de quadros completas em estágios de alta entropia é desnecessário. Com base nessa percepção, propomos o TPDiff, uma estrutura unificada para aprimorar a eficiência de treinamento e inferência. Ao dividir a difusão em vários estágios, nossa estrutura aumenta progressivamente a taxa de quadros ao longo do processo de difusão, com apenas o último estágio operando na taxa de quadros completa, otimizando assim a eficiência computacional. Para treinar o modelo de difusão multiestágio, introduzimos uma estrutura de treinamento dedicada: difusão por estágios. Ao resolver as equações diferenciais ordinárias (EDO) de fluxo de probabilidade particionadas da difusão sob dados e ruído alinhados, nossa estratégia de treinamento é aplicável a várias formas de difusão e aprimora ainda mais a eficiência do treinamento. Avaliações experimentais abrangentes validam a generalidade do nosso método, demonstrando uma redução de 50% no custo de treinamento e uma melhoria de 1,5x na eficiência de inferência.

English

The development of video diffusion models unveils a significant challenge: the substantial computational demands. To mitigate this challenge, we note that the reverse process of diffusion exhibits an inherent entropy-reducing nature. Given the inter-frame redundancy in video modality, maintaining full frame rates in high-entropy stages is unnecessary. Based on this insight, we propose TPDiff, a unified framework to enhance training and inference efficiency. By dividing diffusion into several stages, our framework progressively increases frame rate along the diffusion process with only the last stage operating on full frame rate, thereby optimizing computational efficiency. To train the multi-stage diffusion model, we introduce a dedicated training framework: stage-wise diffusion. By solving the partitioned probability flow ordinary differential equations (ODE) of diffusion under aligned data and noise, our training strategy is applicable to various diffusion forms and further enhances training efficiency. Comprehensive experimental evaluations validate the generality of our method, demonstrating 50% reduction in training cost and 1.5x improvement in inference efficiency.