AlphaTablets: Uma Representação Genérica de Plano para Reconstrução Planar 3D a partir de Vídeos Monoculares

AlphaTablets: A Generic Plane Representation for 3D Planar Reconstruction from Monocular Videos

November 29, 2024

Autores: Yuze He, Wang Zhao, Shaohui Liu, Yubin Hu, Yushi Bai, Yu-Hui Wen, Yong-Jin Liu

cs.AI

Resumo

Apresentamos os AlphaTablets, uma representação inovadora e genérica de planos 3D que apresenta uma superfície 3D contínua e delineação precisa de fronteiras. Ao representar planos 3D como retângulos com canais alfa, os AlphaTablets combinam as vantagens das representações de planos 2D e 3D atuais, possibilitando modelagem precisa, consistente e flexível de planos 3D. Derivamos uma rasterização diferenciável sobre os AlphaTablets para renderizar eficientemente planos 3D em imagens, e propomos um novo pipeline ascendente para reconstrução planar 3D a partir de vídeos monoculares. Começando com superpixels 2D e pistas geométricas de modelos pré-treinados, inicializamos os planos 3D como AlphaTablets e os otimizamos por meio de renderização diferenciável. Um esquema eficaz de fusão é introduzido para facilitar o crescimento e refinamento dos AlphaTablets. Através de otimização e fusão iterativas, reconstruímos planos 3D completos e precisos com superfícies sólidas e fronteiras claras. Experimentos extensivos no conjunto de dados ScanNet demonstram um desempenho de ponta na reconstrução planar 3D, destacando o grande potencial dos AlphaTablets como uma representação genérica de planos 3D para diversas aplicações. A página do projeto está disponível em: https://hyzcluster.github.io/alphatablets

English

We introduce AlphaTablets, a novel and generic representation of 3D planes that features continuous 3D surface and precise boundary delineation. By representing 3D planes as rectangles with alpha channels, AlphaTablets combine the advantages of current 2D and 3D plane representations, enabling accurate, consistent and flexible modeling of 3D planes. We derive differentiable rasterization on top of AlphaTablets to efficiently render 3D planes into images, and propose a novel bottom-up pipeline for 3D planar reconstruction from monocular videos. Starting with 2D superpixels and geometric cues from pre-trained models, we initialize 3D planes as AlphaTablets and optimize them via differentiable rendering. An effective merging scheme is introduced to facilitate the growth and refinement of AlphaTablets. Through iterative optimization and merging, we reconstruct complete and accurate 3D planes with solid surfaces and clear boundaries. Extensive experiments on the ScanNet dataset demonstrate state-of-the-art performance in 3D planar reconstruction, underscoring the great potential of AlphaTablets as a generic 3D plane representation for various applications. Project page is available at: https://hyzcluster.github.io/alphatablets