PE3R: Perceptie-Efficiënte 3D-reconstructie

PE3R: Perception-Efficient 3D Reconstruction

March 10, 2025

Auteurs: Jie Hu, Shizun Wang, Xinchao Wang

cs.AI

Samenvatting

Recente vooruitgang in 2D-naar-3D-perceptie heeft het begrip van 3D-scènes uit 2D-beelden aanzienlijk verbeterd. Bestaande methoden kampen echter met kritieke uitdagingen, waaronder beperkte generalisatie over verschillende scènes, suboptimale perceptienauwkeurigheid en trage reconstructiesnelheden. Om deze beperkingen aan te pakken, stellen we Perception-Efficient 3D Reconstruction (PE3R) voor, een nieuw framework ontworpen om zowel nauwkeurigheid als efficiëntie te verbeteren. PE3R maakt gebruik van een feed-forward architectuur om snelle 3D-semantische veldreconstructie mogelijk te maken. Het framework toont robuuste zero-shot generalisatie over diverse scènes en objecten, terwijl het de reconstructiesnelheid aanzienlijk verbetert. Uitgebreide experimenten op 2D-naar-3D open-vocabulary segmentatie en 3D-reconstructie valideren de effectiviteit en veelzijdigheid van PE3R. Het framework bereikt een minimaal 9-voudige versnelling in 3D-semantische veldreconstructie, samen met aanzienlijke verbeteringen in perceptienauwkeurigheid en reconstructieprecisie, waarmee het nieuwe benchmarks stelt in het veld. De code is publiekelijk beschikbaar op: https://github.com/hujiecpp/PE3R.

English

Recent advancements in 2D-to-3D perception have significantly improved the understanding of 3D scenes from 2D images. However, existing methods face critical challenges, including limited generalization across scenes, suboptimal perception accuracy, and slow reconstruction speeds. To address these limitations, we propose Perception-Efficient 3D Reconstruction (PE3R), a novel framework designed to enhance both accuracy and efficiency. PE3R employs a feed-forward architecture to enable rapid 3D semantic field reconstruction. The framework demonstrates robust zero-shot generalization across diverse scenes and objects while significantly improving reconstruction speed. Extensive experiments on 2D-to-3D open-vocabulary segmentation and 3D reconstruction validate the effectiveness and versatility of PE3R. The framework achieves a minimum 9-fold speedup in 3D semantic field reconstruction, along with substantial gains in perception accuracy and reconstruction precision, setting new benchmarks in the field. The code is publicly available at: https://github.com/hujiecpp/PE3R.