Migliora-Un-Video: Video Generato Migliorato Gratuitamente

Enhance-A-Video: Better Generated Video for Free

February 11, 2025

Autori: Yang Luo, Xuanlei Zhao, Mengzhao Chen, Kaipeng Zhang, Wenqi Shao, Kai Wang, Zhangyang Wang, Yang You

cs.AI

Abstract

La generazione di video basata su DiT ha ottenuto risultati notevoli, ma la ricerca per migliorare i modelli esistenti rimane relativamente inesplorata. In questo lavoro, presentiamo un approccio privo di addestramento per migliorare la coerenza e la qualità dei video generati basati su DiT, chiamato Enhance-A-Video. L'idea principale è migliorare le correlazioni tra frame basate su distribuzioni di attenzione temporale non diagonali. Grazie al suo design semplice, il nostro approccio può essere facilmente applicato alla maggior parte dei framework di generazione di video basati su DiT senza alcun riaddestramento o sintonizzazione. Attraverso vari modelli di generazione di video basati su DiT, il nostro approccio dimostra miglioramenti promettenti sia nella coerenza temporale che nella qualità visiva. Speriamo che questa ricerca possa ispirare future esplorazioni nell'ottimizzazione della generazione di video.

English

DiT-based video generation has achieved remarkable results, but research into enhancing existing models remains relatively unexplored. In this work, we introduce a training-free approach to enhance the coherence and quality of DiT-based generated videos, named Enhance-A-Video. The core idea is enhancing the cross-frame correlations based on non-diagonal temporal attention distributions. Thanks to its simple design, our approach can be easily applied to most DiT-based video generation frameworks without any retraining or fine-tuning. Across various DiT-based video generation models, our approach demonstrates promising improvements in both temporal consistency and visual quality. We hope this research can inspire future explorations in video generation enhancement.