Campos de Radiação Latente com Representações 2D Conscientes de 3D

Latent Radiance Fields with 3D-aware 2D Representations

February 13, 2025

Autores: Chaoyi Zhou, Xi Liu, Feng Luo, Siyu Huang

cs.AI

Resumo

A reconstrução latente 3D tem demonstrado grande potencial no aprimoramento da compreensão semântica 3D e na geração 3D ao destilar características 2D no espaço 3D. No entanto, as abordagens existentes enfrentam dificuldades com a lacuna de domínio entre o espaço de características 2D e as representações 3D, resultando em desempenho de renderização degradado. Para enfrentar esse desafio, propomos uma estrutura inovadora que integra a consciência 3D ao espaço latente 2D. A estrutura consiste em três etapas: (1) um método de auto codificação consciente da correspondência que melhora a consistência 3D das representações latentes 2D, (2) um campo de radiação latente (LRF) que eleva essas representações 2D conscientes 3D para o espaço 3D, e (3) uma estratégia de alinhamento VAE-Campo de Radiação (VAE-RF) que melhora a decodificação de imagens a partir das representações 2D renderizadas. Experimentos extensivos demonstram que nosso método supera as abordagens de reconstrução latente 3D mais avançadas em termos de desempenho de síntese e generalização entre conjuntos de dados em diversas cenas internas e externas. Até onde sabemos, este é o primeiro trabalho que mostra que as representações de campo de radiação construídas a partir de representações latentes 2D podem produzir desempenho de reconstrução 3D fotorrealista.

English

Latent 3D reconstruction has shown great promise in empowering 3D semantic understanding and 3D generation by distilling 2D features into the 3D space. However, existing approaches struggle with the domain gap between 2D feature space and 3D representations, resulting in degraded rendering performance. To address this challenge, we propose a novel framework that integrates 3D awareness into the 2D latent space. The framework consists of three stages: (1) a correspondence-aware autoencoding method that enhances the 3D consistency of 2D latent representations, (2) a latent radiance field (LRF) that lifts these 3D-aware 2D representations into 3D space, and (3) a VAE-Radiance Field (VAE-RF) alignment strategy that improves image decoding from the rendered 2D representations. Extensive experiments demonstrate that our method outperforms the state-of-the-art latent 3D reconstruction approaches in terms of synthesis performance and cross-dataset generalizability across diverse indoor and outdoor scenes. To our knowledge, this is the first work showing the radiance field representations constructed from 2D latent representations can yield photorealistic 3D reconstruction performance.