WildRayZer: 動的環境における自己教師付き大規模ビューマイシンセシス

WildRayZer: Self-supervised Large View Synthesis in Dynamic Environments

January 15, 2026

著者: Xuweiyi Chen, Wentao Zhou, Zezhou Cheng

cs.AI

要旨

我々は、カメラとオブジェクトの両方が移動する動的環境における新規視点合成（NVS）のための自己教師ありフレームワーク「WildRayZer」を提案する。動的コンテンツは、静的なNVSモデルが依存するマルチビュー一貫性を破壊し、ゴースト現象、幻覚的なジオメトリ、不安定なポーズ推定を引き起こす。WildRayZerは、分析-by-合成テストを実行することでこの問題に対処する。カメラのみの静的レンダラは剛体構造を説明し、その残差は過渡的領域を明らかにする。これらの残差から、擬似モーションマスクを構築し、モーション推定器を蒸留し、それを使用して入力トークンをマスキングし、損失勾配をゲーティングすることで、監督がビュー間の背景補完に集中できるようにする。大規模な訓練と評価を可能にするため、15Kの気軽に撮影された動的シーケンスからなる実世界データセット「Dynamic RealEstate10K（D-RE10K）」と、スパースビューかつ過渡的領域を考慮したNVSのための、過渡的領域とクリーンな画像がペアになったベンチマーク「D-RE10K-iPhone」を構築した。実験により、WildRayZerが、過渡的領域の除去とフルフレームのNVS品質の両方において、最適化ベースおよびフィードフォワードのベースライン手法を一つのフィードフォワード処理で一貫して上回ることを示す。

English

We present WildRayZer, a self-supervised framework for novel view synthesis (NVS) in dynamic environments where both the camera and objects move. Dynamic content breaks the multi-view consistency that static NVS models rely on, leading to ghosting, hallucinated geometry, and unstable pose estimation. WildRayZer addresses this by performing an analysis-by-synthesis test: a camera-only static renderer explains rigid structure, and its residuals reveal transient regions. From these residuals, we construct pseudo motion masks, distill a motion estimator, and use it to mask input tokens and gate loss gradients so supervision focuses on cross-view background completion. To enable large-scale training and evaluation, we curate Dynamic RealEstate10K (D-RE10K), a real-world dataset of 15K casually captured dynamic sequences, and D-RE10K-iPhone, a paired transient and clean benchmark for sparse-view transient-aware NVS. Experiments show that WildRayZer consistently outperforms optimization-based and feed-forward baselines in both transient-region removal and full-frame NVS quality with a single feed-forward pass.