DreamTraj：未レンダリングのビデオ拡散潜在表現を読み取る6-DoF物体軌道の生成

要旨

操作中の物体軌道の正確な予測は、知覚-行動ループを閉じるために不可欠です。しかし、進展は2つの点で制限されています。利用可能なデータセットは細粒度の言語-動作アノテーションを欠いており、既存の予測器は、ビデオ、深度、CADモデルなどの特権入力に依存するか、またはコストが高くエラーが発生しやすい知覚パイプラインを通じて、完全に生成されたビデオから動作を復元しています。我々は、MOVEデータセットを用いて教師信号のギャップを解消します。MOVEデータセットは、5,038個の物体中心のエゴセントリック軌道から構成され、各軌道には粗い動詞-名詞ラベルではなく、細粒度の自然言語指示が付与されています。さらに、我々はDreamTrajを提案します。DreamTrajは、単一のRGB画像とタスク指示から6自由度の物体軌道を予測し、推論時にビデオ、深度、CADモデルを必要としません。ビデオを生成する代わりに、凍結された画像からビデオへの拡散モデルの内部表現から、初期のノイズ除去ステップで動作を読み取ります。軽量なフローマッチングリーダーが、クエリ-キー注意トラックとプールされた隠れ状態を相対6自由度ポーズにデコードします。我々の知る限り、これは生成されたピクセルではなく、中間のビデオ拡散表現から物体の6自由度軌道を直接デコードする最初のアプローチです。DreamTrajは、複数フレームまたは特権入力を使用する予測器と比較して、並進と回転の両方で新しい最先端を達成し、生成-抽出パイプラインより4.6倍高速に動作します。

English

Accurate prediction of object trajectories during manipulation is essential for closing the perception-action loop. Progress is limited on two fronts: available datasets lack fine-grained language-to-motion annotations, and existing predictors either rely on privileged inputs such as video, depth, or CAD models, or recover motion from fully generated videos through costly, error-prone perception pipelines. We close the supervision gap with the MOVE dataset, 5,038 object-centric egocentric trajectories, each paired with a fine-grained natural-language instruction rather than a coarse verb-noun label. We further propose DreamTraj, which predicts a 6-DoF object trajectory from a single RGB image and a task instruction, requiring no video, depth, or CAD model at inference: rather than generating a video, it reads motion from the internal representations of a frozen image-to-video diffusion model at an early denoising step. A lightweight flow-matching Reader decodes query-key attention tracks and pooled hidden states into relative 6-DoF poses. To our knowledge, this is the first approach to directly decode object 6-DoF trajectories from intermediate video diffusion representations rather than generated pixels. DreamTraj sets a new state of the art on both translation and rotation against forecasters that consume multi-frame or privileged inputs, and runs 4.6x faster than generate-then-extract pipelines.