Reconstrucción de la Disposición de Habitaciones a partir de Vistas Escasas No Posadas en la Era de los Modelos Preentrenados

Unposed Sparse Views Room Layout Reconstruction in the Age of Pretrain Model

February 24, 2025

Autores: Yaxuan Huang, Xili Dai, Jianan Wang, Xianbiao Qi, Yixing Yuan, Xiangyu Yue

cs.AI

Resumen

La estimación de la disposición de habitaciones a partir de imágenes de múltiples perspectivas ha sido poco investigada debido a las complejidades que surgen de la geometría multi-vista, la cual requiere soluciones de múltiples pasos como la estimación de parámetros intrínsecos y extrínsecos de la cámara, emparejamiento de imágenes y triangulación. Sin embargo, en la reconstrucción 3D, el avance de modelos fundacionales 3D recientes como DUSt3R ha cambiado el paradigma del tradicional proceso de estructura a partir del movimiento (SfM) de múltiples pasos a un enfoque de un solo paso de extremo a extremo. Con este fin, presentamos Plane-DUSt3R, un método novedoso para la estimación de la disposición de habitaciones en múltiples vistas que aprovecha el modelo fundacional 3D DUSt3R. Plane-DUSt3R incorpora el marco de DUSt3R y se ajusta en un conjunto de datos de disposición de habitaciones (Structure3D) con un objetivo modificado para estimar planos estructurales. Al generar resultados uniformes y parsimoniosos, Plane-DUSt3R permite la estimación de la disposición de habitaciones con solo un paso de post-procesamiento y resultados de detección 2D. A diferencia de métodos anteriores que dependen de imágenes de una sola perspectiva o panorámicas, Plane-DUSt3R amplía el escenario para manejar imágenes de múltiples perspectivas. Además, ofrece una solución simplificada de extremo a extremo que agiliza el proceso y reduce la acumulación de errores. Los resultados experimentales demuestran que Plane-DUSt3R no solo supera a los métodos más avanzados en el conjunto de datos sintéticos, sino que también demuestra ser robusto y efectivo en datos del mundo real con diferentes estilos de imagen, como dibujos animados. Nuestro código está disponible en: https://github.com/justacar/Plane-DUSt3R.

English

Room layout estimation from multiple-perspective images is poorly investigated due to the complexities that emerge from multi-view geometry, which requires muti-step solutions such as camera intrinsic and extrinsic estimation, image matching, and triangulation. However, in 3D reconstruction, the advancement of recent 3D foundation models such as DUSt3R has shifted the paradigm from the traditional multi-step structure-from-motion process to an end-to-end single-step approach. To this end, we introduce Plane-DUSt3R, a novel method for multi-view room layout estimation leveraging the 3D foundation model DUSt3R. Plane-DUSt3R incorporates the DUSt3R framework and fine-tunes on a room layout dataset (Structure3D) with a modified objective to estimate structural planes. By generating uniform and parsimonious results, Plane-DUSt3R enables room layout estimation with only a single post-processing step and 2D detection results. Unlike previous methods that rely on single-perspective or panorama image, Plane-DUSt3R extends the setting to handle multiple-perspective images. Moreover, it offers a streamlined, end-to-end solution that simplifies the process and reduces error accumulation. Experimental results demonstrate that Plane-DUSt3R not only outperforms state-of-the-art methods on the synthetic dataset but also proves robust and effective on in the wild data with different image styles such as cartoon.Our code is available at: https://github.com/justacar/Plane-DUSt3R