Analyses des erreurs des modèles de diffusion vidéo auto-régressifs : un cadre unifié

Error Analyses of Auto-Regressive Video Diffusion Models: A Unified Framework

March 12, 2025

Auteurs: Jing Wang, Fengzhuo Zhang, Xiaoli Li, Vincent Y. F. Tan, Tianyu Pang, Chao Du, Aixin Sun, Zhuoran Yang

cs.AI

Résumé

Une variété de modèles de diffusion vidéo auto-régressifs (ARVDM) a obtenu des succès remarquables dans la génération de vidéos longues réalistes. Cependant, les analyses théoriques de ces modèles restent rares. Dans ce travail, nous développons des fondements théoriques pour ces modèles et utilisons nos insights pour améliorer les performances des modèles existants. Nous commençons par développer Meta-ARVDM, un cadre unifié pour les ARVDM qui englobe la plupart des méthodes existantes. En utilisant Meta-ARVDM, nous analysons la divergence KL entre les vidéos générées par Meta-ARVDM et les vidéos réelles. Notre analyse révèle deux phénomènes importants inhérents aux ARVDM : l'accumulation d'erreurs et le goulot d'étranglement de la mémoire. En dérivant un résultat d'impossibilité information-théorique, nous montrons que le phénomène de goulot d'étranglement de la mémoire ne peut être évité. Pour atténuer ce goulot d'étranglement, nous concevons diverses structures de réseau pour utiliser explicitement plus de trames passées. Nous obtenons également un compromis significativement amélioré entre l'atténuation du goulot d'étranglement de la mémoire et l'efficacité de l'inférence en compressant les trames. Les résultats expérimentaux sur DMLab et Minecraft valident l'efficacité de nos méthodes. Nos expériences démontrent également une frontière de Pareto entre l'accumulation d'erreurs et le goulot d'étranglement de la mémoire à travers différentes méthodes.

English

A variety of Auto-Regressive Video Diffusion Models (ARVDM) have achieved remarkable successes in generating realistic long-form videos. However, theoretical analyses of these models remain scant. In this work, we develop theoretical underpinnings for these models and use our insights to improve the performance of existing models. We first develop Meta-ARVDM, a unified framework of ARVDMs that subsumes most existing methods. Using Meta-ARVDM, we analyze the KL-divergence between the videos generated by Meta-ARVDM and the true videos. Our analysis uncovers two important phenomena inherent to ARVDM -- error accumulation and memory bottleneck. By deriving an information-theoretic impossibility result, we show that the memory bottleneck phenomenon cannot be avoided. To mitigate the memory bottleneck, we design various network structures to explicitly use more past frames. We also achieve a significantly improved trade-off between the mitigation of the memory bottleneck and the inference efficiency by compressing the frames. Experimental results on DMLab and Minecraft validate the efficacy of our methods. Our experiments also demonstrate a Pareto-frontier between the error accumulation and memory bottleneck across different methods.