AlphaTablets: Una Representación Genérica de Plano para la Reconstrucción Planar 3D a partir de Videos Monoculares

AlphaTablets: A Generic Plane Representation for 3D Planar Reconstruction from Monocular Videos

November 29, 2024

Autores: Yuze He, Wang Zhao, Shaohui Liu, Yubin Hu, Yushi Bai, Yu-Hui Wen, Yong-Jin Liu

cs.AI

Resumen

Presentamos AlphaTablets, una representación novedosa y genérica de planos 3D que presenta una superficie 3D continua y una delimitación precisa de los límites. Al representar los planos 3D como rectángulos con canales alfa, AlphaTablets combinan las ventajas de las representaciones actuales de planos 2D y 3D, permitiendo modelar de manera precisa, consistente y flexible los planos 3D. Derivamos una rasterización diferenciable sobre AlphaTablets para renderizar eficientemente los planos 3D en imágenes, y proponemos un nuevo pipeline ascendente para la reconstrucción planar 3D a partir de videos monoculares. Comenzando con superpíxeles 2D y señales geométricas de modelos pre-entrenados, inicializamos los planos 3D como AlphaTablets y los optimizamos a través de renderización diferenciable. Se introduce un esquema de fusión efectivo para facilitar el crecimiento y refinamiento de AlphaTablets. A través de la optimización iterativa y fusión, reconstruimos planos 3D completos y precisos con superficies sólidas y límites claros. Experimentos extensos en el conjunto de datos ScanNet demuestran un rendimiento de vanguardia en la reconstrucción planar 3D, subrayando el gran potencial de AlphaTablets como una representación genérica de planos 3D para diversas aplicaciones. La página del proyecto está disponible en: https://hyzcluster.github.io/alphatablets

English

We introduce AlphaTablets, a novel and generic representation of 3D planes that features continuous 3D surface and precise boundary delineation. By representing 3D planes as rectangles with alpha channels, AlphaTablets combine the advantages of current 2D and 3D plane representations, enabling accurate, consistent and flexible modeling of 3D planes. We derive differentiable rasterization on top of AlphaTablets to efficiently render 3D planes into images, and propose a novel bottom-up pipeline for 3D planar reconstruction from monocular videos. Starting with 2D superpixels and geometric cues from pre-trained models, we initialize 3D planes as AlphaTablets and optimize them via differentiable rendering. An effective merging scheme is introduced to facilitate the growth and refinement of AlphaTablets. Through iterative optimization and merging, we reconstruct complete and accurate 3D planes with solid surfaces and clear boundaries. Extensive experiments on the ScanNet dataset demonstrate state-of-the-art performance in 3D planar reconstruction, underscoring the great potential of AlphaTablets as a generic 3D plane representation for various applications. Project page is available at: https://hyzcluster.github.io/alphatablets