BroadWay: Улучшите свою модель генерации текста в видео без обучения

BroadWay: Boost Your Text-to-Video Generation Model in a Training-free Way

October 8, 2024

Авторы: Jiazi Bu, Pengyang Ling, Pan Zhang, Tong Wu, Xiaoyi Dong, Yuhang Zang, Yuhang Cao, Dahua Lin, Jiaqi Wang

cs.AI

Аннотация

Модели генерации текста в видео (T2V), предлагающие удобное создание визуального контента, недавно привлекли все больше внимания. Несмотря на их значительный потенциал, сгенерированные видеоролики могут содержать артефакты, включая структурную неправдоподобность, временные несоответствия и отсутствие движения, что часто приводит к почти статичному видео. В данной работе мы выявили корреляцию между различием карт временного внимания в различных блоках и возникновением временных несоответствий. Кроме того, мы обнаружили, что энергия, содержащаяся в картах временного внимания, прямо связана с амплитудой движения в сгенерированных видеороликах. Основываясь на этих наблюдениях, мы представляем BroadWay - метод обучения без дополнительных параметров, увеличения памяти или времени выборки для улучшения качества генерации текста в видео без дополнительных затрат. Конкретно, BroadWay состоит из двух основных компонентов: 1) Временное самонаправление улучшает структурную правдоподобность и временную согласованность сгенерированных видеороликов путем уменьшения различий между картами временного внимания в различных блоках декодера. 2) Улучшение движения на основе преобразования Фурье увеличивает амплитуду и насыщенность движения путем усиления энергии карты. Обширные эксперименты показывают, что BroadWay значительно улучшает качество генерации текста в видео с незначительными дополнительными затратами.

English

The text-to-video (T2V) generation models, offering convenient visual creation, have recently garnered increasing attention. Despite their substantial potential, the generated videos may present artifacts, including structural implausibility, temporal inconsistency, and a lack of motion, often resulting in near-static video. In this work, we have identified a correlation between the disparity of temporal attention maps across different blocks and the occurrence of temporal inconsistencies. Additionally, we have observed that the energy contained within the temporal attention maps is directly related to the magnitude of motion amplitude in the generated videos. Based on these observations, we present BroadWay, a training-free method to improve the quality of text-to-video generation without introducing additional parameters, augmenting memory or sampling time. Specifically, BroadWay is composed of two principal components: 1) Temporal Self-Guidance improves the structural plausibility and temporal consistency of generated videos by reducing the disparity between the temporal attention maps across various decoder blocks. 2) Fourier-based Motion Enhancement enhances the magnitude and richness of motion by amplifying the energy of the map. Extensive experiments demonstrate that BroadWay significantly improves the quality of text-to-video generation with negligible additional cost.