BroadWay : Améliorez votre modèle de génération de texte en vidéo de manière sans entraînement

BroadWay: Boost Your Text-to-Video Generation Model in a Training-free Way

October 8, 2024

Auteurs: Jiazi Bu, Pengyang Ling, Pan Zhang, Tong Wu, Xiaoyi Dong, Yuhang Zang, Yuhang Cao, Dahua Lin, Jiaqi Wang

cs.AI

Résumé

Les modèles de génération texte-vidéo (T2V), offrant une création visuelle pratique, ont récemment suscité un intérêt croissant. Malgré leur potentiel substantiel, les vidéos générées peuvent présenter des artefacts, tels qu'une implausibilité structurelle, une incohérence temporelle et un manque de mouvement, entraînant souvent une vidéo quasi statique. Dans ce travail, nous avons identifié une corrélation entre la disparité des cartes d'attention temporelle à travers différents blocs et l'apparition d'incohérences temporelles. De plus, nous avons observé que l'énergie contenue dans les cartes d'attention temporelle est directement liée à l'amplitude du mouvement dans les vidéos générées. Sur la base de ces observations, nous présentons BroadWay, une méthode sans entraînement visant à améliorer la qualité de la génération texte-vidéo sans introduire de paramètres supplémentaires, augmenter la mémoire ou le temps d'échantillonnage. Plus précisément, BroadWay se compose de deux composants principaux : 1) l'Auto-guidage temporel améliore la plausibilité structurelle et la cohérence temporelle des vidéos générées en réduisant la disparité entre les cartes d'attention temporelle à travers différents blocs de décodeur. 2) L'Amélioration du mouvement basée sur Fourier renforce l'amplitude et la richesse du mouvement en amplifiant l'énergie de la carte. Des expériences approfondies démontrent que BroadWay améliore significativement la qualité de la génération texte-vidéo avec un coût supplémentaire négligeable.

English

The text-to-video (T2V) generation models, offering convenient visual creation, have recently garnered increasing attention. Despite their substantial potential, the generated videos may present artifacts, including structural implausibility, temporal inconsistency, and a lack of motion, often resulting in near-static video. In this work, we have identified a correlation between the disparity of temporal attention maps across different blocks and the occurrence of temporal inconsistencies. Additionally, we have observed that the energy contained within the temporal attention maps is directly related to the magnitude of motion amplitude in the generated videos. Based on these observations, we present BroadWay, a training-free method to improve the quality of text-to-video generation without introducing additional parameters, augmenting memory or sampling time. Specifically, BroadWay is composed of two principal components: 1) Temporal Self-Guidance improves the structural plausibility and temporal consistency of generated videos by reducing the disparity between the temporal attention maps across various decoder blocks. 2) Fourier-based Motion Enhancement enhances the magnitude and richness of motion by amplifying the energy of the map. Extensive experiments demonstrate that BroadWay significantly improves the quality of text-to-video generation with negligible additional cost.