Скрытые радиационные поля с 3D-осознанными 2D-представлениями

Latent Radiance Fields with 3D-aware 2D Representations

February 13, 2025

Авторы: Chaoyi Zhou, Xi Liu, Feng Luo, Siyu Huang

cs.AI

Аннотация

Латентная трехмерная реконструкция показала большой потенциал в обеспечении трехмерного семантического понимания и генерации за счет конденсации двумерных признаков в трехмерное пространство. Однако существующие подходы испытывают трудности из-за разрыва между двумерным пространством признаков и трехмерными представлениями, что приводит к ухудшению качества визуализации. Для решения этой проблемы мы предлагаем новую структуру, которая интегрирует трехмерное понимание в двумерное латентное пространство. Структура состоит из трех этапов: (1) метод автоэнкодирования, учитывающий соответствие, который улучшает трехмерную согласованность двумерных представлений, (2) латентное поле яркости (LRF), которое переносит эти трехмерно осознанные двумерные представления в трехмерное пространство, и (3) стратегия выравнивания VAE-Radiance Field (VAE-RF), которая улучшает декодирование изображений из отрендеренных двумерных представлений. Обширные эксперименты показывают, что наш метод превосходит современные подходы к латентной трехмерной реконструкции по показателям синтеза и обобщаемости между различными наборами данных внутри помещений и на открытом воздухе. На наш взгляд, это первая работа, демонстрирующая, что представления поля яркости, построенные на основе двумерных латентных представлений, могут обеспечить фотореалистичную трехмерную реконструкцию.

English

Latent 3D reconstruction has shown great promise in empowering 3D semantic understanding and 3D generation by distilling 2D features into the 3D space. However, existing approaches struggle with the domain gap between 2D feature space and 3D representations, resulting in degraded rendering performance. To address this challenge, we propose a novel framework that integrates 3D awareness into the 2D latent space. The framework consists of three stages: (1) a correspondence-aware autoencoding method that enhances the 3D consistency of 2D latent representations, (2) a latent radiance field (LRF) that lifts these 3D-aware 2D representations into 3D space, and (3) a VAE-Radiance Field (VAE-RF) alignment strategy that improves image decoding from the rendered 2D representations. Extensive experiments demonstrate that our method outperforms the state-of-the-art latent 3D reconstruction approaches in terms of synthesis performance and cross-dataset generalizability across diverse indoor and outdoor scenes. To our knowledge, this is the first work showing the radiance field representations constructed from 2D latent representations can yield photorealistic 3D reconstruction performance.