Verbeter een Video: Betere gegenereerde video gratis
Enhance-A-Video: Better Generated Video for Free
February 11, 2025
Auteurs: Yang Luo, Xuanlei Zhao, Mengzhao Chen, Kaipeng Zhang, Wenqi Shao, Kai Wang, Zhangyang Wang, Yang You
cs.AI
Samenvatting
DiT-gebaseerde videogeneratie heeft opmerkelijke resultaten behaald, maar onderzoek naar het verbeteren van bestaande modellen blijft relatief onontgonnen. In dit werk introduceren we een trainingvrije benadering om de coherentie en kwaliteit van DiT-gegenereerde video's te verbeteren, genaamd Enhance-A-Video. Het kernidee is het verbeteren van de cross-frame correlaties op basis van niet-diagonale temporale aandachtsverdelingen. Dankzij het eenvoudige ontwerp kan onze benadering gemakkelijk worden toegepast op de meeste DiT-gebaseerde videogeneratiekaders zonder enige hertraining of fijnafstemming. Over verschillende DiT-gebaseerde videogeneratiemodellen toont onze benadering veelbelovende verbeteringen in zowel temporele consistentie als visuele kwaliteit. We hopen dat dit onderzoek toekomstige verkenningen in videogeneratieverbetering kan inspireren.
English
DiT-based video generation has achieved remarkable results, but research into
enhancing existing models remains relatively unexplored. In this work, we
introduce a training-free approach to enhance the coherence and quality of
DiT-based generated videos, named Enhance-A-Video. The core idea is enhancing
the cross-frame correlations based on non-diagonal temporal attention
distributions. Thanks to its simple design, our approach can be easily applied
to most DiT-based video generation frameworks without any retraining or
fine-tuning. Across various DiT-based video generation models, our approach
demonstrates promising improvements in both temporal consistency and visual
quality. We hope this research can inspire future explorations in video
generation enhancement.