ピラミッドアテンションブロードキャストを用いたリアルタイムビデオ生成

Real-Time Video Generation with Pyramid Attention Broadcast

August 22, 2024

著者: Xuanlei Zhao, Xiaolong Jin, Kai Wang, Yang You

cs.AI

要旨

私たちは、Pyramid Attention Broadcast（PAB）を提案します。これは、DiTベースのビデオ生成においてリアルタイムで高品質かつトレーニング不要なアプローチです。当社の手法は、拡散プロセスにおける注意の違いがU字型のパターンを示し、重要な冗長性を示しているという観察に基づいています。この冗長性を軽減するために、注目度の出力をピラミッドスタイルで後続のステップにブロードキャストします。各注意に対してその分散に基づいて異なるブロードキャスト戦略を適用し、最適な効率を実現します。さらに、より効率的な分散推論のためにブロードキャストシーケンスパラレルを導入しています。PABは、3つのモデルにおいてベースラインと比較して優れた結果を示し、最大720pのビデオに対してリアルタイム生成を実現しています。私たちは、当社のシンプルで効果的な手法が堅牢なベースラインとなり、将来のビデオ生成の研究や応用を促進することが期待されると考えています。

English

We present Pyramid Attention Broadcast (PAB), a real-time, high quality and training-free approach for DiT-based video generation. Our method is founded on the observation that attention difference in the diffusion process exhibits a U-shaped pattern, indicating significant redundancy. We mitigate this by broadcasting attention outputs to subsequent steps in a pyramid style. It applies different broadcast strategies to each attention based on their variance for best efficiency. We further introduce broadcast sequence parallel for more efficient distributed inference. PAB demonstrates superior results across three models compared to baselines, achieving real-time generation for up to 720p videos. We anticipate that our simple yet effective method will serve as a robust baseline and facilitate future research and application for video generation.