PE3R : Reconstruction 3D à Efficacité de Perception

PE3R: Perception-Efficient 3D Reconstruction

March 10, 2025

Auteurs: Jie Hu, Shizun Wang, Xinchao Wang

cs.AI

Résumé

Les récents progrès dans la perception 2D-à-3D ont considérablement amélioré la compréhension des scènes 3D à partir d'images 2D. Cependant, les méthodes existantes font face à des défis critiques, notamment une généralisation limitée entre les scènes, une précision de perception sous-optimale et des vitesses de reconstruction lentes. Pour pallier ces limitations, nous proposons Perception-Efficient 3D Reconstruction (PE3R), un nouveau cadre conçu pour améliorer à la fois la précision et l'efficacité. PE3R utilise une architecture feed-forward pour permettre une reconstruction rapide du champ sémantique 3D. Le cadre démontre une robuste généralisation zero-shot à travers diverses scènes et objets, tout en améliorant significativement la vitesse de reconstruction. Des expériences approfondies sur la segmentation à vocabulaire ouvert 2D-à-3D et la reconstruction 3D valident l'efficacité et la polyvalence de PE3R. Le cadre atteint une accélération minimale de 9 fois dans la reconstruction du champ sémantique 3D, ainsi que des gains substantiels en précision de perception et en précision de reconstruction, établissant de nouveaux référentiels dans le domaine. Le code est disponible publiquement à l'adresse : https://github.com/hujiecpp/PE3R.

English

Recent advancements in 2D-to-3D perception have significantly improved the understanding of 3D scenes from 2D images. However, existing methods face critical challenges, including limited generalization across scenes, suboptimal perception accuracy, and slow reconstruction speeds. To address these limitations, we propose Perception-Efficient 3D Reconstruction (PE3R), a novel framework designed to enhance both accuracy and efficiency. PE3R employs a feed-forward architecture to enable rapid 3D semantic field reconstruction. The framework demonstrates robust zero-shot generalization across diverse scenes and objects while significantly improving reconstruction speed. Extensive experiments on 2D-to-3D open-vocabulary segmentation and 3D reconstruction validate the effectiveness and versatility of PE3R. The framework achieves a minimum 9-fold speedup in 3D semantic field reconstruction, along with substantial gains in perception accuracy and reconstruction precision, setting new benchmarks in the field. The code is publicly available at: https://github.com/hujiecpp/PE3R.