TPDiff: Временная пирамидальная модель диффузии видео

TPDiff: Temporal Pyramid Video Diffusion Model

March 12, 2025

Авторы: Lingmin Ran, Mike Zheng Shou

cs.AI

Аннотация

Разработка моделей диффузии для видео выявила значительную проблему: высокие вычислительные требования. Чтобы смягчить эту проблему, мы отмечаем, что обратный процесс диффузии обладает присущей ему природой снижения энтропии. Учитывая избыточность между кадрами в видео, поддержание полной частоты кадров на этапах с высокой энтропией не является необходимым. Основываясь на этом инсайте, мы предлагаем TPDiff — унифицированную структуру для повышения эффективности обучения и вывода. Разделяя процесс диффузии на несколько этапов, наша структура постепенно увеличивает частоту кадров в процессе диффузии, причем только на последнем этапе используется полная частота кадров, что оптимизирует вычислительную эффективность. Для обучения многоэтапной модели диффузии мы вводим специализированную структуру обучения: поэтапную диффузию. Решая разделенные обыкновенные дифференциальные уравнения (ОДУ) потока вероятности для диффузии при согласованных данных и шуме, наша стратегия обучения применима к различным формам диффузии и дополнительно повышает эффективность обучения. Комплексные экспериментальные оценки подтверждают универсальность нашего метода, демонстрируя снижение затрат на обучение на 50% и улучшение эффективности вывода в 1,5 раза.

English

The development of video diffusion models unveils a significant challenge: the substantial computational demands. To mitigate this challenge, we note that the reverse process of diffusion exhibits an inherent entropy-reducing nature. Given the inter-frame redundancy in video modality, maintaining full frame rates in high-entropy stages is unnecessary. Based on this insight, we propose TPDiff, a unified framework to enhance training and inference efficiency. By dividing diffusion into several stages, our framework progressively increases frame rate along the diffusion process with only the last stage operating on full frame rate, thereby optimizing computational efficiency. To train the multi-stage diffusion model, we introduce a dedicated training framework: stage-wise diffusion. By solving the partitioned probability flow ordinary differential equations (ODE) of diffusion under aligned data and noise, our training strategy is applicable to various diffusion forms and further enhances training efficiency. Comprehensive experimental evaluations validate the generality of our method, demonstrating 50% reduction in training cost and 1.5x improvement in inference efficiency.