Stream4D: ストリーミング自己回帰拡散動画モデルのための4D一貫性

要旨

ストリーミング自己回帰拡散モデルは、リアルタイムかつ長期間のビデオ生成を可能にするが、その訓練目的は、一貫した世界の幾何学とダイナミクスではなく、局所的なフレーム予測を最適化することにある。そのため、長いロールアウトでは幾何学的ドリフトが蓄積し、静的または不自然な動きに劣化してしまう。近年の双方向アプローチは、3Dガウシアンスプラッティング再構成に基づく報酬信号を用いてこの問題に対処している。しかし、単一の剛体3D再構成は動的なシーンをモデル化できないため、この評価器は真の物体の動きを再構成誤差として罰し、ビデオを静止させることで最大化されてしまう。この近道は、各チャンクが既に静的な構成を伝播させ得る自己回帰（AR）設定において特に有害である。本論文では、Stream4Dを提案する。これは、静的評価器を、シーンのダイナミクスを明示的にモデル化するフィードフォワード4D再構成報酬に置き換え、一貫した動きが高い整合性報酬を受け取ることを可能にする。さらに、動きの大きさと品質を導くため、自然なシーンフローの大きさに報酬を与え、ジッターや非剛体アーティファクトを罰する動きの事前分布を追加する。最終的なレシピは、これら2つの項を軽量な知覚的アンカーと組み合わせる。様々な自己回帰ビデオバックボーンおよび様々な生成ホライズンにわたって、Stream4Dは4D再構成品質を向上させ、動きをより効果的に保持し、人間の選好とより整合した評価を達成する。プロジェクトページ：https://banyuanhao.github.io/Stream4D/

English

Streaming autoregressive diffusion models enable real-time, long-horizon video generation, but their training objectives optimize local frame prediction rather than the geometry and dynamics of a coherent world: long rollouts accumulate geometric drift and degrade into static or unnatural motion. Recent bidirectional approaches address this problem using rewards signals built upon 3D Gaussian-Splatting reconstruction. However, a single rigid 3d reconstruction cannot model a dynamic scene, so this critic penalizes genuine object motion as reconstruction error and is maximized by freezing the video. This shortcut is especially detrimental in the AR setting, where each chunk can propagate an already-static configuration. In this work, we propose Stream4D, which replaces the static critic with a feed-forward 4D reconstruction reward that explicitly models scene dynamics, allowing coherent motion to receive high consistency rewards. To further guide motion magnitude and quality, we add a motion prior that rewards natural scene-flow magnitude while penalizing jitter and non-rigid artifacts. Our final recipe combines these two terms with a lightweight perceptual anchor. Across various autoregressive video backbones and various generation horizons, Stream4D improves 4D reconstruction quality, preserves motion more effectively, and achieves higher human-aligned preference. Project page: https://banyuanhao.github.io/Stream4D/