Améliorer une vidéo : une meilleure vidéo générée gratuitement

Enhance-A-Video: Better Generated Video for Free

February 11, 2025

Auteurs: Yang Luo, Xuanlei Zhao, Mengzhao Chen, Kaipeng Zhang, Wenqi Shao, Kai Wang, Zhangyang Wang, Yang You

cs.AI

Résumé

La génération de vidéos basée sur DiT a obtenu des résultats remarquables, mais la recherche visant à améliorer les modèles existants reste relativement inexplorée. Dans ce travail, nous présentons une approche sans entraînement pour améliorer la cohérence et la qualité des vidéos générées basées sur DiT, nommée Améliorer-Une-Vidéo. L'idée principale est d'améliorer les corrélations inter-trames basées sur des distributions d'attention temporelle non diagonales. Grâce à sa conception simple, notre approche peut être facilement appliquée à la plupart des cadres de génération de vidéos basés sur DiT sans nécessiter de réentraînement ou de fine-tuning. À travers divers modèles de génération de vidéos basés sur DiT, notre approche démontre des améliorations prometteuses à la fois en termes de cohérence temporelle et de qualité visuelle. Nous espérons que cette recherche pourra inspirer de futures explorations dans l'amélioration de la génération de vidéos.

English

DiT-based video generation has achieved remarkable results, but research into enhancing existing models remains relatively unexplored. In this work, we introduce a training-free approach to enhance the coherence and quality of DiT-based generated videos, named Enhance-A-Video. The core idea is enhancing the cross-frame correlations based on non-diagonal temporal attention distributions. Thanks to its simple design, our approach can be easily applied to most DiT-based video generation frameworks without any retraining or fine-tuning. Across various DiT-based video generation models, our approach demonstrates promising improvements in both temporal consistency and visual quality. We hope this research can inspire future explorations in video generation enhancement.