Свойство Гаусса: Интеграция физических свойств в трехмерные гауссианы с линейными моделями смеси

GaussianProperty: Integrating Physical Properties to 3D Gaussians with LMMs

December 15, 2024

Авторы: Xinli Xu, Wenhang Ge, Dicong Qiu, ZhiFei Chen, Dongyu Yan, Zhuoyun Liu, Haoyu Zhao, Hanfeng Zhao, Shunsi Zhang, Junwei Liang, Ying-Cong Chen

cs.AI

Аннотация

Оценка физических свойств для визуальных данных является важной задачей в области компьютерного зрения, графики и робототехники, лежащей в основе таких приложений, как дополненная реальность, физическое моделирование и робототехнический захват. Однако эта область остается мало исследованной из-за врожденных неоднозначностей в оценке физических свойств. Для решения этих проблем мы представляем GaussianProperty, обучающуюся без обучения систему, которая назначает физические свойства материалов трехмерным гауссовым функциям. Конкретно, мы интегрируем возможность сегментации SAM с возможностью распознавания GPT-4V(ision) для формулирования глобально-локального модуля рассуждения о физических свойствах для двумерных изображений. Затем мы проецируем физические свойства с многозрительных двумерных изображений на трехмерные гауссовы функции с помощью стратегии голосования. Мы демонстрируем, что трехмерные гауссовы функции с аннотациями физических свойств позволяют применять их в физически основанных динамических симуляциях и робототехническом захвате. Для физически основанных динамических симуляций мы используем метод материальной точки (MPM) для реалистичных динамических симуляций. Для захвата роботом мы разрабатываем стратегию прогнозирования силы захвата, которая оценивает безопасный диапазон силы, необходимой для захвата объекта на основе оцененных физических свойств. Обширные эксперименты по сегментации материалов, физически основанным динамическим симуляциям и робототехническому захвату подтверждают эффективность нашего предложенного метода, подчеркивая его важную роль в понимании физических свойств по визуальным данным. Онлайн-демонстрация, код, дополнительные примеры и аннотированные наборы данных доступны на https://Gaussian-Property.github.io.

English

Estimating physical properties for visual data is a crucial task in computer vision, graphics, and robotics, underpinning applications such as augmented reality, physical simulation, and robotic grasping. However, this area remains under-explored due to the inherent ambiguities in physical property estimation. To address these challenges, we introduce GaussianProperty, a training-free framework that assigns physical properties of materials to 3D Gaussians. Specifically, we integrate the segmentation capability of SAM with the recognition capability of GPT-4V(ision) to formulate a global-local physical property reasoning module for 2D images. Then we project the physical properties from multi-view 2D images to 3D Gaussians using a voting strategy. We demonstrate that 3D Gaussians with physical property annotations enable applications in physics-based dynamic simulation and robotic grasping. For physics-based dynamic simulation, we leverage the Material Point Method (MPM) for realistic dynamic simulation. For robot grasping, we develop a grasping force prediction strategy that estimates a safe force range required for object grasping based on the estimated physical properties. Extensive experiments on material segmentation, physics-based dynamic simulation, and robotic grasping validate the effectiveness of our proposed method, highlighting its crucial role in understanding physical properties from visual data. Online demo, code, more cases and annotated datasets are available on https://Gaussian-Property.github.io{this https URL}.