WorldCraft: インタラクティブビデオワールドモデルにおけるカメラナビゲーションから物体操作へ

要旨

近年のビデオベースのワールドモデルは、ピクセル空間環境においてカメラレベルでのインタラクションを可能にしている。ユーザーは視点をナビゲートしながら、モデルは一貫性のある視覚的継続を生成する。しかし、その行動空間は不完全である。ユーザーはカメラを動かすことはできるが、個々のオブジェクトに対して作用することはできない。現実世界のインタラクションは本質的にオブジェクト中心であるため、そのようなモデルは真に操作可能な環境というよりも、受動的なシーン観察者に近いままである。我々はWorldCraftを提案する。これはインタラクティブなビデオワールドモデルをカメラナビゲーションからオブジェクトレベルの軌跡行動へと拡張するフレームワークである。ユーザーのクリックとスケッチされた経路が与えられると、WorldCraftは選択されたオブジェクトが指定された軌跡に従いながら、カメラがシーンをナビゲートし続ける将来フレームを生成する。WorldCraftはこれを軌跡中心の制御パイプラインを通じて実現する。まず、正規化ワールド軌跡（NWT）は、ユーザーが描いた動きをカメラ不変のワールド座標系で表現し、現在のカメラ姿勢の下で動的に再投影することで、オブジェクトの動きをカメラ起因のスクリーン空間変位から分離する。次に、空間パスウェイLoRA（SP-LoRA）は、このワールド空間信号をモデルの空間制御パスウェイに注入し、事前学習済みのカメラコントローラを維持しながらオブジェクト操作機能を追加する。最後に、軌跡アンカー状態永続化（TASP）は、ワールド軌跡を永続的な空間状態として扱い、軌跡条件付き生成後に自己回帰的メモリをリフレッシュすることで、移動されたオブジェクトがカメラ視野外に出た後も更新された位置に再出現することを可能にする。実験により、WorldCraftは正確なオブジェクト制御を実現し、カメラのみの評価においてビデオベースワールドモデルのカメラ忠実度を維持し、長い自己回帰的ロールアウトやカメラ視野外への移動においてもオブジェクト状態を保持することを示す。

English

Recent video-based world models have made pixel-space environments interactive at the camera level: users can navigate viewpoints while the model generates coherent visual continuations. Yet their action spaces remain incomplete: users can move the camera, but cannot act on individual objects. Since real-world interaction is inherently object-centric, such models remain closer to passive scene observers than truly manipulable environments. We present WorldCraft, a framework that expands interactive video world models from camera navigation to object-level trajectory actions. Given a user click and a sketched path, WorldCraft generates future frames in which the selected object follows the prescribed trajectory while the camera continues to navigate the scene. WorldCraft achieves this through a trajectory-centric control pipeline: First, Normalized World Trajectory (NWT) represents user-drawn motion in a camera-invariant world coordinate system and dynamically re-projects it under the current camera pose, separating object motion from camera-induced screen-space displacement; Spatial-Pathway LoRA (SP-LoRA) then injects this world-space signal through the model's spatial-control pathway, adding object manipulation capability while preserving the pretrained camera controller; finally, Trajectory-Anchored State Persistence (TASP) treats the world trajectory as a persistent spatial state and refreshes autoregressive memory after trajectory-conditioned generation, allowing moved objects to reappear at their updated positions after leaving the camera view. Experiments show that WorldCraft enables accurate object control, preserves the video-based world model's camera fidelity under camera-only evaluation, and maintains object state across long autoregressive rollouts with off-camera excursions.