Vista4D: 4Dポイントクラウドを用いた映像再撮影

Vista4D: Video Reshooting with 4D Point Clouds

April 23, 2026

著者: Kuan Heng Lin, Zhizheng Liu, Pablo Salamanca, Yash Kant, Ryan Burgert, Yuancheng Xu, Koichi Namekata, Yiwei Zhao, Bolei Zhou, Micah Goldblum, Paul Debevec, Ning Yu

cs.AI

要旨

本論文では、入力ビデオと目標カメラを4D点群に基づいて位置付ける、堅牢で柔軟なビデオ再撮影フレームワーク「Vista4D」を提案する。具体的には、入力ビデオが与えられたとき、本手法は異なるカメラ軌道と視点から同じダイナミクスを持つシーンを再合成する。既存のビデオ再撮影手法は、実世界の動的ビデオにおける深度推定のアーティファクトに悩まされることが多く、コンテンツの外観を維持できなかったり、挑戦的な新規軌道に対する精密なカメラ制御ができなかったりする。我々は、静的画素セグメンテーションと4D再構成を用いて4Dに基礎を置く点群表現を構築し、既知のコンテンツを明示的に保持するとともに豊富なカメラ信号を提供する。さらに、再構成された多視点動的データで学習を行うことで、実世界推論時の点群アーティファクトに対する堅牢性を実現する。実験結果は、様々なビデオとカメラパスにおいて、従来の最先端手法と比較して、4D一貫性、カメラ制御、視覚的品質が改善されていることを示す。さらに、本手法は動的シーン拡張や4Dシーン再構成といった実世界応用へ一般化可能である。結果、コード、モデルはプロジェクトページ（https://eyeline-labs.github.io/Vista4D）を参照されたい。

English

We present Vista4D, a robust and flexible video reshooting framework that grounds the input video and target cameras in a 4D point cloud. Specifically, given an input video, our method re-synthesizes the scene with the same dynamics from a different camera trajectory and viewpoint. Existing video reshooting methods often struggle with depth estimation artifacts of real-world dynamic videos, while also failing to preserve content appearance and failing to maintain precise camera control for challenging new trajectories. We build a 4D-grounded point cloud representation with static pixel segmentation and 4D reconstruction to explicitly preserve seen content and provide rich camera signals, and we train with reconstructed multiview dynamic data for robustness against point cloud artifacts during real-world inference. Our results demonstrate improved 4D consistency, camera control, and visual quality compared to state-of-the-art baselines under a variety of videos and camera paths. Moreover, our method generalizes to real-world applications such as dynamic scene expansion and 4D scene recomposition. See our project page for results, code, and models: https://eyeline-labs.github.io/Vista4D