FMGS: Встраивание базовой модели в 3D-сплатинг Гаусса для целостного понимания 3D-сцены

FMGS: Foundation Model Embedded 3D Gaussian Splatting for Holistic 3D Scene Understanding

January 3, 2024

Авторы: Xingxing Zuo, Pouya Samangouei, Yunwen Zhou, Yan Di, Mingyang Li

cs.AI

Аннотация

Точное восприятие геометрических и семантических свойств реальных трехмерных объектов имеет решающее значение для дальнейшего развития приложений дополненной реальности и робототехники. В этой связи мы представляем (), который интегрирует визуально-языковые эмбеддинги базовых моделей в метод 3D Gaussian Splatting (GS). Ключевым вкладом данной работы является эффективный метод реконструкции и представления трехмерных визуально-языковых моделей. Это достигается путем дистилляции карт признаков, сгенерированных из изображений базовых моделей, в те, которые визуализируются нашей 3D-моделью. Для обеспечения высококачественной визуализации и быстрого обучения мы вводим новое представление сцены, объединяя преимущества GS и многомасштабных хэш-кодирований (MHE). Наш эффективный процесс обучения также включает функцию потерь на основе выравнивания пикселей, которая минимизирует расстояние визуализированных признаков для семантически одинаковых объектов, следуя границам семантики на уровне пикселей. Наши результаты демонстрируют выдающуюся согласованность семантики между различными ракурсами, что способствует решению разнообразных задач, превосходя современные методы на 10,2% в задаче обнаружения объектов на основе открытого словаря, несмотря на то, что наш метод работает в 851 раз быстрее при выводе. Это исследование исследует пересечение зрения, языка и представления трехмерных сцен, прокладывая путь к улучшенному пониманию сцен в неконтролируемых реальных условиях. Мы планируем опубликовать код после принятия статьи.

English

Precisely perceiving the geometric and semantic properties of real-world 3D objects is crucial for the continued evolution of augmented reality and robotic applications. To this end, we present (), which incorporates vision-language embeddings of foundation models into 3D Gaussian Splatting (GS). The key contribution of this work is an efficient method to reconstruct and represent 3D vision-language models. This is achieved by distilling feature maps generated from image-based foundation models into those rendered from our 3D model. To ensure high-quality rendering and fast training, we introduce a novel scene representation by integrating strengths from both GS and multi-resolution hash encodings (MHE). Our effective training procedure also introduces a pixel alignment loss that makes the rendered feature distance of same semantic entities close, following the pixel-level semantic boundaries. Our results demonstrate remarkable multi-view semantic consistency, facilitating diverse downstream tasks, beating state-of-the-art methods by 10.2 percent on open-vocabulary language-based object detection, despite that we are 851times faster for inference. This research explores the intersection of vision, language, and 3D scene representation, paving the way for enhanced scene understanding in uncontrolled real-world environments. We plan to release the code upon paper acceptance.