Campos de Radiación Latente con Representaciones 2D Conscientes de 3D

Latent Radiance Fields with 3D-aware 2D Representations

February 13, 2025

Autores: Chaoyi Zhou, Xi Liu, Feng Luo, Siyu Huang

cs.AI

Resumen

La reconstrucción 3D latente ha demostrado un gran potencial para potenciar la comprensión semántica 3D y la generación 3D al destilar características 2D en el espacio 3D. Sin embargo, los enfoques existentes tienen dificultades con la brecha de dominio entre el espacio de características 2D y las representaciones 3D, lo que resulta en un rendimiento de renderización degradado. Para abordar este desafío, proponemos un marco novedoso que integra la conciencia 3D en el espacio latente 2D. El marco consta de tres etapas: (1) un método de autoencodificación consciente de la correspondencia que mejora la consistencia 3D de las representaciones latentes 2D, (2) un campo de radiancia latente (LRF) que eleva estas representaciones 2D conscientes de 3D al espacio 3D, y (3) una estrategia de alineación VAE-Campo de Radiancia (VAE-RF) que mejora la decodificación de imágenes a partir de las representaciones 2D renderizadas. Experimentos extensos demuestran que nuestro método supera a los enfoques de reconstrucción 3D latente de vanguardia en cuanto a rendimiento de síntesis y generalizabilidad entre conjuntos de datos diversos de escenas interiores y exteriores. Hasta donde sabemos, este es el primer trabajo que muestra que las representaciones de campo de radiancia construidas a partir de representaciones latentes 2D pueden producir un rendimiento de reconstrucción 3D fotorrealista.

English

Latent 3D reconstruction has shown great promise in empowering 3D semantic understanding and 3D generation by distilling 2D features into the 3D space. However, existing approaches struggle with the domain gap between 2D feature space and 3D representations, resulting in degraded rendering performance. To address this challenge, we propose a novel framework that integrates 3D awareness into the 2D latent space. The framework consists of three stages: (1) a correspondence-aware autoencoding method that enhances the 3D consistency of 2D latent representations, (2) a latent radiance field (LRF) that lifts these 3D-aware 2D representations into 3D space, and (3) a VAE-Radiance Field (VAE-RF) alignment strategy that improves image decoding from the rendered 2D representations. Extensive experiments demonstrate that our method outperforms the state-of-the-art latent 3D reconstruction approaches in terms of synthesis performance and cross-dataset generalizability across diverse indoor and outdoor scenes. To our knowledge, this is the first work showing the radiance field representations constructed from 2D latent representations can yield photorealistic 3D reconstruction performance.