PE3R: Reconstrução 3D Eficiente em Percepção

PE3R: Perception-Efficient 3D Reconstruction

March 10, 2025

Autores: Jie Hu, Shizun Wang, Xinchao Wang

cs.AI

Resumo

Avanços recentes na percepção 2D-para-3D melhoraram significativamente a compreensão de cenas 3D a partir de imagens 2D. No entanto, os métodos existentes enfrentam desafios críticos, incluindo generalização limitada entre cenas, precisão de percepção subótima e velocidades de reconstrução lentas. Para abordar essas limitações, propomos o Perception-Efficient 3D Reconstruction (PE3R), uma nova estrutura projetada para aprimorar tanto a precisão quanto a eficiência. O PE3R emprega uma arquitetura feed-forward para permitir a reconstrução rápida de campos semânticos 3D. A estrutura demonstra generalização robusta zero-shot em diversas cenas e objetos, enquanto melhora significativamente a velocidade de reconstrução. Experimentos extensivos em segmentação de vocabulário aberto 2D-para-3D e reconstrução 3D validam a eficácia e versatilidade do PE3R. A estrutura alcança um aumento mínimo de 9 vezes na velocidade de reconstrução de campos semânticos 3D, juntamente com ganhos substanciais na precisão de percepção e reconstrução, estabelecendo novos padrões no campo. O código está disponível publicamente em: https://github.com/hujiecpp/PE3R.

English

Recent advancements in 2D-to-3D perception have significantly improved the understanding of 3D scenes from 2D images. However, existing methods face critical challenges, including limited generalization across scenes, suboptimal perception accuracy, and slow reconstruction speeds. To address these limitations, we propose Perception-Efficient 3D Reconstruction (PE3R), a novel framework designed to enhance both accuracy and efficiency. PE3R employs a feed-forward architecture to enable rapid 3D semantic field reconstruction. The framework demonstrates robust zero-shot generalization across diverse scenes and objects while significantly improving reconstruction speed. Extensive experiments on 2D-to-3D open-vocabulary segmentation and 3D reconstruction validate the effectiveness and versatility of PE3R. The framework achieves a minimum 9-fold speedup in 3D semantic field reconstruction, along with substantial gains in perception accuracy and reconstruction precision, setting new benchmarks in the field. The code is publicly available at: https://github.com/hujiecpp/PE3R.