Foutanalyses van Auto-Regressieve Video Diffusiemodellen: Een Geïntegreerd Framework

Error Analyses of Auto-Regressive Video Diffusion Models: A Unified Framework

March 12, 2025

Auteurs: Jing Wang, Fengzhuo Zhang, Xiaoli Li, Vincent Y. F. Tan, Tianyu Pang, Chao Du, Aixin Sun, Zhuoran Yang

cs.AI

Samenvatting

Een verscheidenheid aan Auto-Regressieve Video Diffusie Modellen (ARVDM) heeft opmerkelijke successen behaald in het genereren van realistische lange video's. Theoretische analyses van deze modellen blijven echter schaars. In dit werk ontwikkelen we theoretische grondslagen voor deze modellen en gebruiken we onze inzichten om de prestaties van bestaande modellen te verbeteren. We ontwikkelen eerst Meta-ARVDM, een uniform raamwerk van ARVDM's dat de meeste bestaande methoden omvat. Met behulp van Meta-ARVDM analyseren we de KL-divergentie tussen de door Meta-ARVDM gegenereerde video's en de echte video's. Onze analyse onthult twee belangrijke fenomenen die inherent zijn aan ARVDM: foutaccumulatie en geheugenknelpunten. Door een informatie-theoretisch onmogelijkheidsresultaat af te leiden, tonen we aan dat het geheugenknelpuntfenomeen niet kan worden vermeden. Om het geheugenknelpunt te verzachten, ontwerpen we verschillende netwerkstructuren om expliciet meer vorige frames te gebruiken. We bereiken ook een aanzienlijk verbeterde afweging tussen het verzachten van het geheugenknelpunt en de inferentie-efficiëntie door de frames te comprimeren. Experimentele resultaten op DMLab en Minecraft valideren de effectiviteit van onze methoden. Onze experimenten tonen ook een Pareto-grens aan tussen foutaccumulatie en geheugenknelpunten bij verschillende methoden.

English

A variety of Auto-Regressive Video Diffusion Models (ARVDM) have achieved remarkable successes in generating realistic long-form videos. However, theoretical analyses of these models remain scant. In this work, we develop theoretical underpinnings for these models and use our insights to improve the performance of existing models. We first develop Meta-ARVDM, a unified framework of ARVDMs that subsumes most existing methods. Using Meta-ARVDM, we analyze the KL-divergence between the videos generated by Meta-ARVDM and the true videos. Our analysis uncovers two important phenomena inherent to ARVDM -- error accumulation and memory bottleneck. By deriving an information-theoretic impossibility result, we show that the memory bottleneck phenomenon cannot be avoided. To mitigate the memory bottleneck, we design various network structures to explicitly use more past frames. We also achieve a significantly improved trade-off between the mitigation of the memory bottleneck and the inference efficiency by compressing the frames. Experimental results on DMLab and Minecraft validate the efficacy of our methods. Our experiments also demonstrate a Pareto-frontier between the error accumulation and memory bottleneck across different methods.