BroadWay: Aumente o Desempenho do seu Modelo de Geração de Texto para Vídeo de Forma Sem Treinamento

BroadWay: Boost Your Text-to-Video Generation Model in a Training-free Way

October 8, 2024

Autores: Jiazi Bu, Pengyang Ling, Pan Zhang, Tong Wu, Xiaoyi Dong, Yuhang Zang, Yuhang Cao, Dahua Lin, Jiaqi Wang

cs.AI

Resumo

Os modelos de geração texto-para-vídeo (T2V), oferecendo uma criação visual conveniente, têm recentemente atraído cada vez mais atenção. Apesar de seu substancial potencial, os vídeos gerados podem apresentar artefatos, incluindo implausibilidade estrutural, inconsistência temporal e falta de movimento, resultando frequentemente em vídeos quase estáticos. Neste trabalho, identificamos uma correlação entre a disparidade dos mapas de atenção temporal em diferentes blocos e a ocorrência de inconsistências temporais. Além disso, observamos que a energia contida nos mapas de atenção temporal está diretamente relacionada com a magnitude da amplitude de movimento nos vídeos gerados. Com base nessas observações, apresentamos o BroadWay, um método sem necessidade de treinamento para melhorar a qualidade da geração texto-para-vídeo sem introduzir parâmetros adicionais, aumentar a memória ou o tempo de amostragem. Especificamente, o BroadWay é composto por dois componentes principais: 1) Auto-Orientação Temporal melhora a plausibilidade estrutural e a consistência temporal dos vídeos gerados ao reduzir a disparidade entre os mapas de atenção temporal em vários blocos decodificadores. 2) Aprimoramento de Movimento Baseado em Fourier melhora a magnitude e a riqueza de movimento ao amplificar a energia do mapa. Experimentos extensivos demonstram que o BroadWay melhora significativamente a qualidade da geração texto-para-vídeo com um custo adicional negligenciável.

English

The text-to-video (T2V) generation models, offering convenient visual creation, have recently garnered increasing attention. Despite their substantial potential, the generated videos may present artifacts, including structural implausibility, temporal inconsistency, and a lack of motion, often resulting in near-static video. In this work, we have identified a correlation between the disparity of temporal attention maps across different blocks and the occurrence of temporal inconsistencies. Additionally, we have observed that the energy contained within the temporal attention maps is directly related to the magnitude of motion amplitude in the generated videos. Based on these observations, we present BroadWay, a training-free method to improve the quality of text-to-video generation without introducing additional parameters, augmenting memory or sampling time. Specifically, BroadWay is composed of two principal components: 1) Temporal Self-Guidance improves the structural plausibility and temporal consistency of generated videos by reducing the disparity between the temporal attention maps across various decoder blocks. 2) Fourier-based Motion Enhancement enhances the magnitude and richness of motion by amplifying the energy of the map. Extensive experiments demonstrate that BroadWay significantly improves the quality of text-to-video generation with negligible additional cost.