AlphaTablets: Обобщенное представление плоскости для трехмерной плоской реконструкции из монокулярных видео.

AlphaTablets: A Generic Plane Representation for 3D Planar Reconstruction from Monocular Videos

November 29, 2024

Авторы: Yuze He, Wang Zhao, Shaohui Liu, Yubin Hu, Yushi Bai, Yu-Hui Wen, Yong-Jin Liu

cs.AI

Аннотация

Мы представляем AlphaTablets - новое и универсальное представление трехмерных плоскостей, которое обладает непрерывной трехмерной поверхностью и точным определением границ. Представляя трехмерные плоскости в виде прямоугольников с альфа-каналами, AlphaTablets объединяют преимущества текущих двумерных и трехмерных представлений плоскостей, обеспечивая точное, последовательное и гибкое моделирование трехмерных плоскостей. Мы выводим дифференцируемую растеризацию поверх AlphaTablets для эффективного отображения трехмерных плоскостей на изображения и предлагаем новый конвейер снизу вверх для восстановления трехмерных плоскостей из монокулярных видеороликов. Начиная с двумерных суперпикселей и геометрических подсказок от предварительно обученных моделей, мы инициализируем трехмерные плоскости как AlphaTablets и оптимизируем их с помощью дифференцируемой растеризации. Вводится эффективная схема слияния для облегчения роста и улучшения AlphaTablets. Через итеративную оптимизацию и слияние мы восстанавливаем полные и точные трехмерные плоскости с прочными поверхностями и четкими границами. Обширные эксперименты на наборе данных ScanNet демонстрируют передовые результаты в восстановлении трехмерных плоскостей, подчеркивая великий потенциал AlphaTablets как универсального представления трехмерных плоскостей для различных приложений. Страница проекта доступна по адресу: https://hyzcluster.github.io/alphatablets

English

We introduce AlphaTablets, a novel and generic representation of 3D planes that features continuous 3D surface and precise boundary delineation. By representing 3D planes as rectangles with alpha channels, AlphaTablets combine the advantages of current 2D and 3D plane representations, enabling accurate, consistent and flexible modeling of 3D planes. We derive differentiable rasterization on top of AlphaTablets to efficiently render 3D planes into images, and propose a novel bottom-up pipeline for 3D planar reconstruction from monocular videos. Starting with 2D superpixels and geometric cues from pre-trained models, we initialize 3D planes as AlphaTablets and optimize them via differentiable rendering. An effective merging scheme is introduced to facilitate the growth and refinement of AlphaTablets. Through iterative optimization and merging, we reconstruct complete and accurate 3D planes with solid surfaces and clear boundaries. Extensive experiments on the ScanNet dataset demonstrate state-of-the-art performance in 3D planar reconstruction, underscoring the great potential of AlphaTablets as a generic 3D plane representation for various applications. Project page is available at: https://hyzcluster.github.io/alphatablets