次のブロック予測：半自己回帰モデリングを用いたビデオ生成

Next Block Prediction: Video Generation via Semi-Autoregressive Modeling

February 11, 2025

著者: Shuhuai Ren, Shuming Ma, Xu Sun, Furu Wei

cs.AI

要旨

次のトークン予測（NTP）は、自己回帰（AR）ビデオ生成の事実上のアプローチですが、最適でない一方向の依存関係と遅い推論速度の課題があります。本研究では、ビデオ生成のための半自己回帰（semi-AR）フレームワークであるNext-Block Prediction（NBP）を提案します。ビデオコンテンツを均等なサイズのブロック（例：行またはフレーム）に均等に分解することで、個々のトークンからブロックへの生成単位をシフトし、現在のブロック内の各トークンが次のブロック内の対応するトークンを同時に予測できるようにします。従来のARモデリングとは異なり、当社のフレームワークは各ブロック内で双方向の注意を使用し、トークンがより堅牢な空間的依存関係を捉えることができます。複数のトークンを並行して予測することで、NBPモデルは生成ステップの数を大幅に削減し、より迅速かつ効率的な推論を実現します。当社のモデルは、UCF101で103.3、K600で25.5のFVDスコアを達成し、平均4.4の改善をもたらし、バニラのNTPモデルを上回ります。さらに、推論ステップの数が削減されたことで、NBPモデルは1秒あたり8.89フレーム（128x128解像度）を生成し、11倍の高速化を達成します。また、700Mから3Bのパラメータを持つモデルスケールを探索し、UCF101では103.3から55.3、K600では25.5から19.5のFVDスコアの顕著な改善を観察し、当社のアプローチのスケーラビリティを実証しています。

English

Next-Token Prediction (NTP) is a de facto approach for autoregressive (AR) video generation, but it suffers from suboptimal unidirectional dependencies and slow inference speed. In this work, we propose a semi-autoregressive (semi-AR) framework, called Next-Block Prediction (NBP), for video generation. By uniformly decomposing video content into equal-sized blocks (e.g., rows or frames), we shift the generation unit from individual tokens to blocks, allowing each token in the current block to simultaneously predict the corresponding token in the next block. Unlike traditional AR modeling, our framework employs bidirectional attention within each block, enabling tokens to capture more robust spatial dependencies. By predicting multiple tokens in parallel, NBP models significantly reduce the number of generation steps, leading to faster and more efficient inference. Our model achieves FVD scores of 103.3 on UCF101 and 25.5 on K600, outperforming the vanilla NTP model by an average of 4.4. Furthermore, thanks to the reduced number of inference steps, the NBP model generates 8.89 frames (128x128 resolution) per second, achieving an 11x speedup. We also explored model scales ranging from 700M to 3B parameters, observing significant improvements in generation quality, with FVD scores dropping from 103.3 to 55.3 on UCF101 and from 25.5 to 19.5 on K600, demonstrating the scalability of our approach.