BroadWay: トレーニング不要の方法で、テキストからビデオを生成するモデルを強化する

BroadWay: Boost Your Text-to-Video Generation Model in a Training-free Way

October 8, 2024

著者: Jiazi Bu, Pengyang Ling, Pan Zhang, Tong Wu, Xiaoyi Dong, Yuhang Zang, Yuhang Cao, Dahua Lin, Jiaqi Wang

cs.AI

要旨

テキストからビデオ（T2V）生成モデルは、便利な視覚的作成を提供し、最近注目を集めています。生成されたビデオには、構造的な不自然さ、時間的な不整合、動きの欠如などのアーティファクトが見られることがあり、しばしばほぼ静止したビデオが生じます。本研究では、異なるブロック間での時間的注視マップの不一致と時間的な不整合の発生との相関関係を特定しました。さらに、時間的注視マップに含まれるエネルギーが生成されたビデオの動きの振幅と直接関連していることを観察しました。これらの観察に基づき、追加のパラメータを導入せず、メモリを増やさず、サンプリング時間を増やさずに、テキストからビデオ生成の品質を向上させるトレーニングフリーな手法であるBroadWayを提案します。具体的には、BroadWayは2つの主要なコンポーネントで構成されています。1）時間的自己ガイダンスは、さまざまなデコーダブロック間の時間的注視マップの不一致を減らすことで、生成されたビデオの構造的な妥当性と時間的一貫性を向上させます。2）フーリエ変換ベースの動き強化は、マップのエネルギーを増幅することで、動きの振幅と豊かさを向上させます。幅広い実験により、BroadWayが追加コストをほとんどかけずにテキストからビデオ生成の品質を大幅に向上させることが示されました。

English

The text-to-video (T2V) generation models, offering convenient visual creation, have recently garnered increasing attention. Despite their substantial potential, the generated videos may present artifacts, including structural implausibility, temporal inconsistency, and a lack of motion, often resulting in near-static video. In this work, we have identified a correlation between the disparity of temporal attention maps across different blocks and the occurrence of temporal inconsistencies. Additionally, we have observed that the energy contained within the temporal attention maps is directly related to the magnitude of motion amplitude in the generated videos. Based on these observations, we present BroadWay, a training-free method to improve the quality of text-to-video generation without introducing additional parameters, augmenting memory or sampling time. Specifically, BroadWay is composed of two principal components: 1) Temporal Self-Guidance improves the structural plausibility and temporal consistency of generated videos by reducing the disparity between the temporal attention maps across various decoder blocks. 2) Fourier-based Motion Enhancement enhances the magnitude and richness of motion by amplifying the energy of the map. Extensive experiments demonstrate that BroadWay significantly improves the quality of text-to-video generation with negligible additional cost.