Champs de radiance latents avec représentations 2D conscientes de la 3D

Latent Radiance Fields with 3D-aware 2D Representations

February 13, 2025

Auteurs: Chaoyi Zhou, Xi Liu, Feng Luo, Siyu Huang

cs.AI

Résumé

La reconstruction 3D latente a montré un grand potentiel pour renforcer la compréhension sémantique 3D et la génération 3D en distillant les caractéristiques 2D dans l'espace 3D. Cependant, les approches existantes peinent avec l'écart de domaine entre l'espace des caractéristiques 2D et les représentations 3D, ce qui entraîne une performance de rendu dégradée. Pour relever ce défi, nous proposons un nouveau cadre qui intègre la conscience 3D dans l'espace latent 2D. Le cadre se compose de trois étapes : (1) une méthode d'autoencodage consciente de la correspondance qui améliore la cohérence 3D des représentations latentes 2D, (2) un champ de radiance latent (LRF) qui élève ces représentations 2D conscientes de la 3D dans l'espace 3D, et (3) une stratégie d'alignement VAE-Champ de Radiance (VAE-RF) qui améliore le décodage d'image à partir des représentations 2D rendues. Des expériences approfondies démontrent que notre méthode surpasse les approches de reconstruction 3D latente de pointe en termes de performance de synthèse et de généralisabilité inter-ensembles de données à travers diverses scènes intérieures et extérieures. À notre connaissance, il s'agit du premier travail montrant que les représentations de champ de radiance construites à partir de représentations latentes 2D peuvent produire des performances de reconstruction 3D photoréalistes.

English

Latent 3D reconstruction has shown great promise in empowering 3D semantic understanding and 3D generation by distilling 2D features into the 3D space. However, existing approaches struggle with the domain gap between 2D feature space and 3D representations, resulting in degraded rendering performance. To address this challenge, we propose a novel framework that integrates 3D awareness into the 2D latent space. The framework consists of three stages: (1) a correspondence-aware autoencoding method that enhances the 3D consistency of 2D latent representations, (2) a latent radiance field (LRF) that lifts these 3D-aware 2D representations into 3D space, and (3) a VAE-Radiance Field (VAE-RF) alignment strategy that improves image decoding from the rendered 2D representations. Extensive experiments demonstrate that our method outperforms the state-of-the-art latent 3D reconstruction approaches in terms of synthesis performance and cross-dataset generalizability across diverse indoor and outdoor scenes. To our knowledge, this is the first work showing the radiance field representations constructed from 2D latent representations can yield photorealistic 3D reconstruction performance.