Análises de Erro em Modelos de Difusão de Vídeo Auto-Regressivos: Um Framework Unificado

Error Analyses of Auto-Regressive Video Diffusion Models: A Unified Framework

March 12, 2025

Autores: Jing Wang, Fengzhuo Zhang, Xiaoli Li, Vincent Y. F. Tan, Tianyu Pang, Chao Du, Aixin Sun, Zhuoran Yang

cs.AI

Resumo

Uma variedade de Modelos de Difusão de Vídeo Auto-Regressivos (ARVDM, na sigla em inglês) tem alcançado sucessos notáveis na geração de vídeos de longa duração realistas. No entanto, análises teóricas desses modelos ainda são escassas. Neste trabalho, desenvolvemos fundamentos teóricos para esses modelos e utilizamos nossas percepções para melhorar o desempenho dos modelos existentes. Primeiro, desenvolvemos o Meta-ARVDM, uma estrutura unificada de ARVDMs que engloba a maioria dos métodos existentes. Usando o Meta-ARVDM, analisamos a divergência KL entre os vídeos gerados pelo Meta-ARVDM e os vídeos reais. Nossa análise revela dois fenômenos importantes inerentes ao ARVDM — o acúmulo de erros e o gargalo de memória. Ao derivar um resultado de impossibilidade teórica da informação, mostramos que o fenômeno do gargalo de memória não pode ser evitado. Para mitigar o gargalo de memória, projetamos várias estruturas de rede para usar explicitamente mais quadros passados. Também alcançamos uma melhoria significativa na relação entre a mitigação do gargalo de memória e a eficiência de inferência, comprimindo os quadros. Resultados experimentais no DMLab e no Minecraft validam a eficácia de nossos métodos. Nossos experimentos também demonstram uma fronteira de Pareto entre o acúmulo de erros e o gargalo de memória em diferentes métodos.

English

A variety of Auto-Regressive Video Diffusion Models (ARVDM) have achieved remarkable successes in generating realistic long-form videos. However, theoretical analyses of these models remain scant. In this work, we develop theoretical underpinnings for these models and use our insights to improve the performance of existing models. We first develop Meta-ARVDM, a unified framework of ARVDMs that subsumes most existing methods. Using Meta-ARVDM, we analyze the KL-divergence between the videos generated by Meta-ARVDM and the true videos. Our analysis uncovers two important phenomena inherent to ARVDM -- error accumulation and memory bottleneck. By deriving an information-theoretic impossibility result, we show that the memory bottleneck phenomenon cannot be avoided. To mitigate the memory bottleneck, we design various network structures to explicitly use more past frames. We also achieve a significantly improved trade-off between the mitigation of the memory bottleneck and the inference efficiency by compressing the frames. Experimental results on DMLab and Minecraft validate the efficacy of our methods. Our experiments also demonstrate a Pareto-frontier between the error accumulation and memory bottleneck across different methods.