非対称デュアル3Dガウススプラッティングによる実世界でのロバストなニューラルレンダリング

Robust Neural Rendering in the Wild with Asymmetric Dual 3D Gaussian Splatting

June 4, 2025

著者: Chengqi Li, Zhihao Shi, Yangdi Lu, Wenbo He, Xiangyu Xu

cs.AI

要旨

実世界の画像からの3D再構成は、照明条件の不整合や一時的なノイズ要因により依然として困難な課題です。既存の手法は、低品質な学習データを扱うためにヒューリスティックな戦略に依存することが多く、安定した一貫性のある再構成を実現するのに苦戦し、視覚的なアーティファクトが頻繁に発生します。本研究では、Asymmetric Dual 3DGSという新しいフレームワークを提案します。この手法は、これらのアーティファクトがランダム性の影響で異なる学習実行間で変動するという性質を活用します。具体的には、2つの3D Gaussian Splatting (3DGS)モデルを並列に学習させ、一貫性制約を課すことで信頼性の高いシーン形状への収束を促し、不整合なアーティファクトを抑制します。2つのモデルが確認バイアスにより類似した失敗モードに陥るのを防ぐため、マルチキュー適応マスクと自己教師ありソフトマスクという2つの補完的なマスクを適用する発散的マスキング戦略を導入し、非対称な学習プロセスを実現することで共有エラーモードを削減します。さらに、学習効率を向上させるため、Dynamic EMA Proxyという軽量バリアントを提案します。これは、2つのモデルのうち1つを動的に更新される指数移動平均（EMA）プロキシに置き換え、発散を維持するための交互マスキング戦略を採用します。挑戦的な実世界データセットを用いた広範な実験により、本手法が既存のアプローチを一貫して上回りつつ高い効率を達成することが示されました。コードと学習済みモデルは公開予定です。

English

3D reconstruction from in-the-wild images remains a challenging task due to inconsistent lighting conditions and transient distractors. Existing methods typically rely on heuristic strategies to handle the low-quality training data, which often struggle to produce stable and consistent reconstructions, frequently resulting in visual artifacts. In this work, we propose Asymmetric Dual 3DGS, a novel framework that leverages the stochastic nature of these artifacts: they tend to vary across different training runs due to minor randomness. Specifically, our method trains two 3D Gaussian Splatting (3DGS) models in parallel, enforcing a consistency constraint that encourages convergence on reliable scene geometry while suppressing inconsistent artifacts. To prevent the two models from collapsing into similar failure modes due to confirmation bias, we introduce a divergent masking strategy that applies two complementary masks: a multi-cue adaptive mask and a self-supervised soft mask, which leads to an asymmetric training process of the two models, reducing shared error modes. In addition, to improve the efficiency of model training, we introduce a lightweight variant called Dynamic EMA Proxy, which replaces one of the two models with a dynamically updated Exponential Moving Average (EMA) proxy, and employs an alternating masking strategy to preserve divergence. Extensive experiments on challenging real-world datasets demonstrate that our method consistently outperforms existing approaches while achieving high efficiency. Codes and trained models will be released.