AlphaTablets: Eine generische Ebenendarstellung für die 3D-planare Rekonstruktion aus monokularen Videos

AlphaTablets: A Generic Plane Representation for 3D Planar Reconstruction from Monocular Videos

November 29, 2024

Autoren: Yuze He, Wang Zhao, Shaohui Liu, Yubin Hu, Yushi Bai, Yu-Hui Wen, Yong-Jin Liu

cs.AI

Zusammenfassung

Wir stellen AlphaTablets vor, eine neuartige und generische Darstellung von 3D-Ebenen, die eine kontinuierliche 3D-Oberfläche und präzise Begrenzungslinien aufweist. Indem 3D-Ebenen als Rechtecke mit Alphakanälen dargestellt werden, kombinieren AlphaTablets die Vorteile der aktuellen 2D- und 3D-Ebenen-Darstellungen und ermöglichen eine genaue, konsistente und flexible Modellierung von 3D-Ebenen. Wir leiten differenzierbare Rasterisierung auf Basis von AlphaTablets ab, um 3D-Ebenen effizient in Bilder zu rendern, und schlagen eine neuartige Bottom-up-Pipeline für die 3D-Ebenenrekonstruktion aus monokularen Videos vor. Ausgehend von 2D-Superpixeln und geometrischen Hinweisen aus vorab trainierten Modellen initialisieren wir 3D-Ebenen als AlphaTablets und optimieren sie über differenzierbares Rendern. Ein effektives Verschmelzungsschema wird eingeführt, um das Wachstum und die Verfeinerung der AlphaTablets zu erleichtern. Durch iterative Optimierung und Verschmelzung rekonstruieren wir vollständige und präzise 3D-Ebenen mit soliden Oberflächen und klaren Begrenzungen. Umfangreiche Experimente am ScanNet-Datensatz zeigen eine erstklassige Leistung bei der 3D-Ebenenrekonstruktion und unterstreichen das große Potenzial von AlphaTablets als generische 3D-Ebenen-Darstellung für verschiedene Anwendungen. Die Projektseite ist verfügbar unter: https://hyzcluster.github.io/alphatablets

English

We introduce AlphaTablets, a novel and generic representation of 3D planes that features continuous 3D surface and precise boundary delineation. By representing 3D planes as rectangles with alpha channels, AlphaTablets combine the advantages of current 2D and 3D plane representations, enabling accurate, consistent and flexible modeling of 3D planes. We derive differentiable rasterization on top of AlphaTablets to efficiently render 3D planes into images, and propose a novel bottom-up pipeline for 3D planar reconstruction from monocular videos. Starting with 2D superpixels and geometric cues from pre-trained models, we initialize 3D planes as AlphaTablets and optimize them via differentiable rendering. An effective merging scheme is introduced to facilitate the growth and refinement of AlphaTablets. Through iterative optimization and merging, we reconstruct complete and accurate 3D planes with solid surfaces and clear boundaries. Extensive experiments on the ScanNet dataset demonstrate state-of-the-art performance in 3D planar reconstruction, underscoring the great potential of AlphaTablets as a generic 3D plane representation for various applications. Project page is available at: https://hyzcluster.github.io/alphatablets