AlphaTablets : Une représentation générique de plan pour la reconstruction planaire 3D à partir de vidéos monoculaires

AlphaTablets: A Generic Plane Representation for 3D Planar Reconstruction from Monocular Videos

November 29, 2024

Auteurs: Yuze He, Wang Zhao, Shaohui Liu, Yubin Hu, Yushi Bai, Yu-Hui Wen, Yong-Jin Liu

cs.AI

Résumé

Nous présentons AlphaTablets, une représentation novatrice et générique des plans 3D qui offre une surface 3D continue et une délimitation précise des frontières. En représentant les plans 3D sous forme de rectangles avec des canaux alpha, les AlphaTablets combinent les avantages des représentations de plans 2D et 3D actuelles, permettant une modélisation précise, cohérente et flexible des plans 3D. Nous dérivons une rasterisation différentiable sur les AlphaTablets pour rendre efficacement les plans 3D en images, et proposons un nouveau pipeline ascendant pour la reconstruction planaire 3D à partir de vidéos monoculaires. En partant de superpixels 2D et de repères géométriques issus de modèles pré-entraînés, nous initialisons les plans 3D en tant qu'AlphaTablets et les optimisons via un rendu différentiable. Un schéma de fusion efficace est introduit pour faciliter la croissance et le raffinement des AlphaTablets. À travers une optimisation itérative et une fusion, nous reconstruisons des plans 3D complets et précis avec des surfaces solides et des frontières claires. Des expériences approfondies sur l'ensemble de données ScanNet démontrent des performances de pointe en matière de reconstruction planaire 3D, soulignant le grand potentiel des AlphaTablets en tant que représentation générique des plans 3D pour diverses applications. La page du projet est disponible sur : https://hyzcluster.github.io/alphatablets

English

We introduce AlphaTablets, a novel and generic representation of 3D planes that features continuous 3D surface and precise boundary delineation. By representing 3D planes as rectangles with alpha channels, AlphaTablets combine the advantages of current 2D and 3D plane representations, enabling accurate, consistent and flexible modeling of 3D planes. We derive differentiable rasterization on top of AlphaTablets to efficiently render 3D planes into images, and propose a novel bottom-up pipeline for 3D planar reconstruction from monocular videos. Starting with 2D superpixels and geometric cues from pre-trained models, we initialize 3D planes as AlphaTablets and optimize them via differentiable rendering. An effective merging scheme is introduced to facilitate the growth and refinement of AlphaTablets. Through iterative optimization and merging, we reconstruct complete and accurate 3D planes with solid surfaces and clear boundaries. Extensive experiments on the ScanNet dataset demonstrate state-of-the-art performance in 3D planar reconstruction, underscoring the great potential of AlphaTablets as a generic 3D plane representation for various applications. Project page is available at: https://hyzcluster.github.io/alphatablets