Reconstrução de Layout de Sala com Visões Esparsas Não Posadas na Era dos Modelos Pré-treinados

Unposed Sparse Views Room Layout Reconstruction in the Age of Pretrain Model

February 24, 2025

Autores: Yaxuan Huang, Xili Dai, Jianan Wang, Xianbiao Qi, Yixing Yuan, Xiangyu Yue

cs.AI

Resumo

A estimativa de layout de ambientes a partir de imagens de múltiplas perspectivas é pouco explorada devido às complexidades que surgem da geometria multivista, que exige soluções em múltiplas etapas, como a estimativa de parâmetros intrínsecos e extrínsecos da câmera, correspondência de imagens e triangulação. No entanto, na reconstrução 3D, o avanço de modelos fundamentais 3D recentes, como o DUSt3R, mudou o paradigma do tradicional processo de estrutura a partir do movimento em múltiplas etapas para uma abordagem de etapa única e de ponta a ponta. Para isso, introduzimos o Plane-DUSt3R, um método inovador para estimativa de layout de ambientes multivista que aproveita o modelo fundamental 3D DUSt3R. O Plane-DUSt3R incorpora a estrutura do DUSt3R e é ajustado em um conjunto de dados de layout de ambientes (Structure3D) com um objetivo modificado para estimar planos estruturais. Ao gerar resultados uniformes e parcimoniosos, o Plane-DUSt3R permite a estimativa de layout de ambientes com apenas uma etapa de pós-processamento e resultados de detecção 2D. Diferente de métodos anteriores que dependem de imagens de perspectiva única ou panorâmicas, o Plane-DUSt3R amplia o cenário para lidar com imagens de múltiplas perspectivas. Além disso, oferece uma solução simplificada e de ponta a ponta que simplifica o processo e reduz o acúmulo de erros. Resultados experimentais demonstram que o Plane-DUSt3R não apenas supera os métodos mais avançados no conjunto de dados sintético, mas também se mostra robusto e eficaz em dados do mundo real com diferentes estilos de imagem, como desenho animado. Nosso código está disponível em: https://github.com/justacar/Plane-DUSt3R.

English

Room layout estimation from multiple-perspective images is poorly investigated due to the complexities that emerge from multi-view geometry, which requires muti-step solutions such as camera intrinsic and extrinsic estimation, image matching, and triangulation. However, in 3D reconstruction, the advancement of recent 3D foundation models such as DUSt3R has shifted the paradigm from the traditional multi-step structure-from-motion process to an end-to-end single-step approach. To this end, we introduce Plane-DUSt3R, a novel method for multi-view room layout estimation leveraging the 3D foundation model DUSt3R. Plane-DUSt3R incorporates the DUSt3R framework and fine-tunes on a room layout dataset (Structure3D) with a modified objective to estimate structural planes. By generating uniform and parsimonious results, Plane-DUSt3R enables room layout estimation with only a single post-processing step and 2D detection results. Unlike previous methods that rely on single-perspective or panorama image, Plane-DUSt3R extends the setting to handle multiple-perspective images. Moreover, it offers a streamlined, end-to-end solution that simplifies the process and reduces error accumulation. Experimental results demonstrate that Plane-DUSt3R not only outperforms state-of-the-art methods on the synthetic dataset but also proves robust and effective on in the wild data with different image styles such as cartoon.Our code is available at: https://github.com/justacar/Plane-DUSt3R