AlphaTablets: 単眼ビデオからの3D平面再構築のための一般的な平面表現

AlphaTablets: A Generic Plane Representation for 3D Planar Reconstruction from Monocular Videos

November 29, 2024

著者: Yuze He, Wang Zhao, Shaohui Liu, Yubin Hu, Yushi Bai, Yu-Hui Wen, Yong-Jin Liu

cs.AI

要旨

AlphaTabletsは、連続的な3D表面と正確な境界の定義を特徴とする新しい汎用3D平面表現を紹介します。Alphaチャンネルを持つ矩形として3D平面を表現することで、AlphaTabletsは現在の2Dおよび3D平面表現の利点を組み合わせ、3D平面の正確で一貫性のある柔軟なモデリングを可能にします。AlphaTablets上で微分可能なラスタライゼーションを導出し、3D平面を効率的にイメージにレンダリングするとともに、単眼ビデオからの3D平面再構築のための革新的なボトムアップパイプラインを提案します。2Dスーパーピクセルと事前学習モデルからの幾何学的手掛かりを用いて、3D平面をAlphaTabletsとして初期化し、微分可能なレンダリングを通じて最適化します。成長と精緻化を促進するために効果的なマージングスキームが導入されています。反復的な最適化とマージングにより、堅固な表面と明確な境界を持つ完全で正確な3D平面を再構築します。ScanNetデータセットでの広範な実験により、3D平面再構築における最先端のパフォーマンスが示され、さまざまなアプリケーションにおける汎用3D平面表現としてのAlphaTabletsの大きな潜在能力が強調されています。プロジェクトページは以下でご覧いただけます：https://hyzcluster.github.io/alphatablets

English

We introduce AlphaTablets, a novel and generic representation of 3D planes that features continuous 3D surface and precise boundary delineation. By representing 3D planes as rectangles with alpha channels, AlphaTablets combine the advantages of current 2D and 3D plane representations, enabling accurate, consistent and flexible modeling of 3D planes. We derive differentiable rasterization on top of AlphaTablets to efficiently render 3D planes into images, and propose a novel bottom-up pipeline for 3D planar reconstruction from monocular videos. Starting with 2D superpixels and geometric cues from pre-trained models, we initialize 3D planes as AlphaTablets and optimize them via differentiable rendering. An effective merging scheme is introduced to facilitate the growth and refinement of AlphaTablets. Through iterative optimization and merging, we reconstruct complete and accurate 3D planes with solid surfaces and clear boundaries. Extensive experiments on the ScanNet dataset demonstrate state-of-the-art performance in 3D planar reconstruction, underscoring the great potential of AlphaTablets as a generic 3D plane representation for various applications. Project page is available at: https://hyzcluster.github.io/alphatablets