WildRayZer: Самоконтролируемое синтезирование широкоугольных сцен в динамических средах

WildRayZer: Self-supervised Large View Synthesis in Dynamic Environments

January 15, 2026

Авторы: Xuweiyi Chen, Wentao Zhou, Zezhou Cheng

cs.AI

Аннотация

Мы представляем WildRayZer — самоконтролируемый фреймворк для синтеза новых ракурсов в динамических сценах с движением как камеры, так и объектов. Динамическое содержание нарушает многовидовую согласованность, на которую опираются модели для статичных сцен, что приводит к эффекту ореола, артефактам геометрии и нестабильной оценке позы. WildRayZer решает эту проблему с помощью анализа методом синтеза: статичный рендерер, учитывающий только движение камеры, восстанавливает жесткую структуру сцены, а его остаточные сигналы выявляют нестационарные области. На основе этих остатков мы строим псевдомаски движения, дистиллируем оценщик движения и используем его для маскирования входных токенов и управления градиентами потерь, чтобы обучение фокусировалось на согласованном восстановлении фона между ракурсами. Для масштабного обучения и оценки мы создали Dynamic RealEstate10K (D-RE10K) — реалистичный датасет из 15 тыс. динамических последовательностей, снятых с рук, и D-RE10K-iPhone — парный бенчмарк с нестационарными объектами и очищенными сценами для оценки синтеза с учетом переходных процессов при малом количестве исходных видов. Эксперименты показывают, что WildRayZer стабильно превосходит оптимизационные и прямые базовые методы как по качеству удаления нестационарных объектов, так и по визуальному качеству полного кадра, выполняя всего один прямой проход.

English

We present WildRayZer, a self-supervised framework for novel view synthesis (NVS) in dynamic environments where both the camera and objects move. Dynamic content breaks the multi-view consistency that static NVS models rely on, leading to ghosting, hallucinated geometry, and unstable pose estimation. WildRayZer addresses this by performing an analysis-by-synthesis test: a camera-only static renderer explains rigid structure, and its residuals reveal transient regions. From these residuals, we construct pseudo motion masks, distill a motion estimator, and use it to mask input tokens and gate loss gradients so supervision focuses on cross-view background completion. To enable large-scale training and evaluation, we curate Dynamic RealEstate10K (D-RE10K), a real-world dataset of 15K casually captured dynamic sequences, and D-RE10K-iPhone, a paired transient and clean benchmark for sparse-view transient-aware NVS. Experiments show that WildRayZer consistently outperforms optimization-based and feed-forward baselines in both transient-region removal and full-frame NVS quality with a single feed-forward pass.