PE3R: Эффективная в плане восприятия 3D-реконструкция

PE3R: Perception-Efficient 3D Reconstruction

March 10, 2025

Авторы: Jie Hu, Shizun Wang, Xinchao Wang

cs.AI

Аннотация

Последние достижения в области восприятия 2D-3D значительно улучшили понимание трехмерных сцен на основе двумерных изображений. Однако существующие методы сталкиваются с серьезными проблемами, включая ограниченную обобщаемость для различных сцен, неоптимальную точность восприятия и низкую скорость реконструкции. Для устранения этих ограничений мы предлагаем Perception-Efficient 3D Reconstruction (PE3R) — новый фреймворк, разработанный для повышения как точности, так и эффективности. PE3R использует прямую архитектуру для быстрого восстановления семантического поля 3D. Фреймворк демонстрирует устойчивую обобщаемость в условиях нулевого сэмплинга для разнообразных сцен и объектов, одновременно значительно повышая скорость реконструкции. Многочисленные эксперименты по сегментации с открытым словарем 2D-3D и трехмерной реконструкции подтверждают эффективность и универсальность PE3R. Фреймворк обеспечивает как минимум 9-кратное ускорение восстановления семантического поля 3D, а также существенное улучшение точности восприятия и реконструкции, устанавливая новые стандарты в этой области. Код доступен по адресу: https://github.com/hujiecpp/PE3R.

English

Recent advancements in 2D-to-3D perception have significantly improved the understanding of 3D scenes from 2D images. However, existing methods face critical challenges, including limited generalization across scenes, suboptimal perception accuracy, and slow reconstruction speeds. To address these limitations, we propose Perception-Efficient 3D Reconstruction (PE3R), a novel framework designed to enhance both accuracy and efficiency. PE3R employs a feed-forward architecture to enable rapid 3D semantic field reconstruction. The framework demonstrates robust zero-shot generalization across diverse scenes and objects while significantly improving reconstruction speed. Extensive experiments on 2D-to-3D open-vocabulary segmentation and 3D reconstruction validate the effectiveness and versatility of PE3R. The framework achieves a minimum 9-fold speedup in 3D semantic field reconstruction, along with substantial gains in perception accuracy and reconstruction precision, setting new benchmarks in the field. The code is publicly available at: https://github.com/hujiecpp/PE3R.