Robust Neurale Rendering in de Praktijk met Asymmetrisch Dual 3D Gaussisch Splatten

Robust Neural Rendering in the Wild with Asymmetric Dual 3D Gaussian Splatting

June 4, 2025

Auteurs: Chengqi Li, Zhihao Shi, Yangdi Lu, Wenbo He, Xiangyu Xu

cs.AI

Samenvatting

3D-reconstructie uit beelden in de vrije natuur blijft een uitdagende taak vanwege inconsistente belichtingsomstandigheden en tijdelijke afleiders. Bestaande methoden vertrouwen doorgaans op heuristische strategieën om om te gaan met de lage kwaliteit van de trainingsdata, wat vaak moeite heeft om stabiele en consistente reconstructies te produceren, wat resulteert in visuele artefacten. In dit werk stellen we Asymmetric Dual 3DGS voor, een nieuw raamwerk dat gebruikmaakt van de stochastische aard van deze artefacten: ze hebben de neiging te variëren tussen verschillende trainingsruns vanwege kleine willekeurigheden. Specifiek traint onze methode twee 3D Gaussian Splatting (3DGS)-modellen parallel, waarbij een consistentiebeperking wordt opgelegd die convergentie op betrouwbare scènegeometrie bevordert en inconsistente artefacten onderdrukt. Om te voorkomen dat de twee modellen in vergelijkbare foutmodi vervallen door bevestigingsbias, introduceren we een divergente maskerstrategie die twee complementaire maskers toepast: een multi-cue adaptief masker en een zelfgesuperviseerd zacht masker, wat leidt tot een asymmetrisch trainingsproces van de twee modellen, waardoor gedeelde foutmodi worden verminderd. Daarnaast introduceren we, om de efficiëntie van modeltraining te verbeteren, een lichtgewicht variant genaamd Dynamic EMA Proxy, die een van de twee modellen vervangt door een dynamisch bijgewerkte Exponentiële Voortschrijdend Gemiddelde (EMA) proxy, en een afwisselende maskerstrategie gebruikt om divergentie te behouden. Uitgebreide experimenten op uitdagende real-world datasets tonen aan dat onze methode consistent beter presteert dan bestaande benaderingen, terwijl een hoge efficiëntie wordt bereikt. Codes en getrainde modellen zullen worden vrijgegeven.

English

3D reconstruction from in-the-wild images remains a challenging task due to inconsistent lighting conditions and transient distractors. Existing methods typically rely on heuristic strategies to handle the low-quality training data, which often struggle to produce stable and consistent reconstructions, frequently resulting in visual artifacts. In this work, we propose Asymmetric Dual 3DGS, a novel framework that leverages the stochastic nature of these artifacts: they tend to vary across different training runs due to minor randomness. Specifically, our method trains two 3D Gaussian Splatting (3DGS) models in parallel, enforcing a consistency constraint that encourages convergence on reliable scene geometry while suppressing inconsistent artifacts. To prevent the two models from collapsing into similar failure modes due to confirmation bias, we introduce a divergent masking strategy that applies two complementary masks: a multi-cue adaptive mask and a self-supervised soft mask, which leads to an asymmetric training process of the two models, reducing shared error modes. In addition, to improve the efficiency of model training, we introduce a lightweight variant called Dynamic EMA Proxy, which replaces one of the two models with a dynamically updated Exponential Moving Average (EMA) proxy, and employs an alternating masking strategy to preserve divergence. Extensive experiments on challenging real-world datasets demonstrate that our method consistently outperforms existing approaches while achieving high efficiency. Codes and trained models will be released.