Устойчивый нейронный рендеринг в реальных условиях с использованием асимметричного двойного 3D-гауссовского сплатинга

Robust Neural Rendering in the Wild with Asymmetric Dual 3D Gaussian Splatting

June 4, 2025

Авторы: Chengqi Li, Zhihao Shi, Yangdi Lu, Wenbo He, Xiangyu Xu

cs.AI

Аннотация

3D-реконструкция по изображениям, полученным в естественных условиях, остается сложной задачей из-за нестабильных условий освещения и временных помех. Существующие методы обычно полагаются на эвристические стратегии для обработки низкокачественных обучающих данных, что часто приводит к нестабильным и несогласованным реконструкциям, сопровождающимся визуальными артефактами. В данной работе мы предлагаем Asymmetric Dual 3DGS — новый фреймворк, который использует стохастическую природу этих артефактов: они имеют тенденцию варьироваться в разных запусках обучения из-за незначительной случайности. В частности, наш метод обучает две модели 3D Gaussian Splatting (3DGS) параллельно, применяя ограничение согласованности, которое способствует сходимости к надежной геометрии сцены, подавляя при этом несогласованные артефакты. Чтобы предотвратить схождение двух моделей в схожие режимы сбоя из-за предвзятости подтверждения, мы вводим стратегию дивергентного маскирования, которая применяет две взаимодополняющие маски: адаптивную маску на основе множества признаков и самообучаемую мягкую маску. Это приводит к асимметричному процессу обучения двух моделей, уменьшая общие ошибки. Кроме того, для повышения эффективности обучения модели мы предлагаем облегченный вариант под названием Dynamic EMA Proxy, который заменяет одну из двух моделей динамически обновляемым прокси-экспоненциальным скользящим средним (EMA) и использует чередующуюся стратегию маскирования для сохранения дивергенции. Эксперименты на сложных наборах реальных данных демонстрируют, что наш метод стабильно превосходит существующие подходы, достигая высокой эффективности. Коды и обученные модели будут опубликованы.

English

3D reconstruction from in-the-wild images remains a challenging task due to inconsistent lighting conditions and transient distractors. Existing methods typically rely on heuristic strategies to handle the low-quality training data, which often struggle to produce stable and consistent reconstructions, frequently resulting in visual artifacts. In this work, we propose Asymmetric Dual 3DGS, a novel framework that leverages the stochastic nature of these artifacts: they tend to vary across different training runs due to minor randomness. Specifically, our method trains two 3D Gaussian Splatting (3DGS) models in parallel, enforcing a consistency constraint that encourages convergence on reliable scene geometry while suppressing inconsistent artifacts. To prevent the two models from collapsing into similar failure modes due to confirmation bias, we introduce a divergent masking strategy that applies two complementary masks: a multi-cue adaptive mask and a self-supervised soft mask, which leads to an asymmetric training process of the two models, reducing shared error modes. In addition, to improve the efficiency of model training, we introduce a lightweight variant called Dynamic EMA Proxy, which replaces one of the two models with a dynamically updated Exponential Moving Average (EMA) proxy, and employs an alternating masking strategy to preserve divergence. Extensive experiments on challenging real-world datasets demonstrate that our method consistently outperforms existing approaches while achieving high efficiency. Codes and trained models will be released.