BroadWay: Potenzia il tuo modello di generazione di testo-video in modo senza addestramento

BroadWay: Boost Your Text-to-Video Generation Model in a Training-free Way

October 8, 2024

Autori: Jiazi Bu, Pengyang Ling, Pan Zhang, Tong Wu, Xiaoyi Dong, Yuhang Zang, Yuhang Cao, Dahua Lin, Jiaqi Wang

cs.AI

Abstract

I modelli di generazione testo-video (T2V), che offrono una comoda creazione visiva, hanno recentemente attirato crescente attenzione. Nonostante il loro notevole potenziale, i video generati possono presentare artefatti, tra cui implausibilità strutturale, inconsistenza temporale e mancanza di movimento, spesso risultando in video quasi statici. In questo lavoro, abbiamo identificato una correlazione tra la disparità delle mappe di attenzione temporale tra diversi blocchi e l'insorgenza di inconsistenze temporali. Inoltre, abbiamo osservato che l'energia contenuta all'interno delle mappe di attenzione temporale è direttamente correlata alla magnitudine dell'ampiezza del movimento nei video generati. Sulla base di queste osservazioni, presentiamo BroadWay, un metodo privo di addestramento per migliorare la qualità della generazione testo-video senza introdurre parametri aggiuntivi, aumentare la memoria o il tempo di campionamento. In particolare, BroadWay è composto da due componenti principali: 1) Guida Temporale Autonoma migliora l'implausibilità strutturale e l'inconsistenza temporale dei video generati riducendo la disparità tra le mappe di attenzione temporale tra vari blocchi di decodifica. 2) Potenziamento del Movimento basato su Fourier migliora la magnitudine e la ricchezza del movimento amplificando l'energia della mappa. Estesi esperimenti dimostrano che BroadWay migliora significativamente la qualità della generazione testo-video con un costo aggiuntivo trascurabile.

English

The text-to-video (T2V) generation models, offering convenient visual creation, have recently garnered increasing attention. Despite their substantial potential, the generated videos may present artifacts, including structural implausibility, temporal inconsistency, and a lack of motion, often resulting in near-static video. In this work, we have identified a correlation between the disparity of temporal attention maps across different blocks and the occurrence of temporal inconsistencies. Additionally, we have observed that the energy contained within the temporal attention maps is directly related to the magnitude of motion amplitude in the generated videos. Based on these observations, we present BroadWay, a training-free method to improve the quality of text-to-video generation without introducing additional parameters, augmenting memory or sampling time. Specifically, BroadWay is composed of two principal components: 1) Temporal Self-Guidance improves the structural plausibility and temporal consistency of generated videos by reducing the disparity between the temporal attention maps across various decoder blocks. 2) Fourier-based Motion Enhancement enhances the magnitude and richness of motion by amplifying the energy of the map. Extensive experiments demonstrate that BroadWay significantly improves the quality of text-to-video generation with negligible additional cost.