Propiedad Gaussiana: Integración de Propiedades Físicas en Gaussianas 3D con LMMs

GaussianProperty: Integrating Physical Properties to 3D Gaussians with LMMs

December 15, 2024

Autores: Xinli Xu, Wenhang Ge, Dicong Qiu, ZhiFei Chen, Dongyu Yan, Zhuoyun Liu, Haoyu Zhao, Hanfeng Zhao, Shunsi Zhang, Junwei Liang, Ying-Cong Chen

cs.AI

Resumen

La estimación de propiedades físicas para datos visuales es una tarea crucial en visión por computadora, gráficos y robótica, sustentando aplicaciones como realidad aumentada, simulación física y agarre robótico. Sin embargo, esta área sigue siendo poco explorada debido a las ambigüedades inherentes en la estimación de propiedades físicas. Para abordar estos desafíos, presentamos GaussianProperty, un marco sin entrenamiento que asigna propiedades físicas de materiales a gaussianas 3D. Específicamente, integramos la capacidad de segmentación de SAM con la capacidad de reconocimiento de GPT-4V(ision) para formular un módulo de razonamiento de propiedades físicas global-local para imágenes 2D. Luego proyectamos las propiedades físicas de imágenes 2D de múltiples vistas a gaussianas 3D utilizando una estrategia de votación. Demostramos que las gaussianas 3D con anotaciones de propiedades físicas permiten aplicaciones en simulación dinámica basada en física y agarre robótico. Para la simulación dinámica basada en física, aprovechamos el Método de Puntos de Material (MPM) para una simulación dinámica realista. Para el agarre de robots, desarrollamos una estrategia de predicción de fuerza de agarre que estima un rango de fuerza segura requerido para el agarre de objetos basado en las propiedades físicas estimadas. Experimentos extensos sobre segmentación de materiales, simulación dinámica basada en física y agarre robótico validan la efectividad de nuestro método propuesto, resaltando su papel crucial en la comprensión de propiedades físicas a partir de datos visuales. Una demostración en línea, código, más casos y conjuntos de datos anotados están disponibles en https://Gaussian-Property.github.io.

English

Estimating physical properties for visual data is a crucial task in computer vision, graphics, and robotics, underpinning applications such as augmented reality, physical simulation, and robotic grasping. However, this area remains under-explored due to the inherent ambiguities in physical property estimation. To address these challenges, we introduce GaussianProperty, a training-free framework that assigns physical properties of materials to 3D Gaussians. Specifically, we integrate the segmentation capability of SAM with the recognition capability of GPT-4V(ision) to formulate a global-local physical property reasoning module for 2D images. Then we project the physical properties from multi-view 2D images to 3D Gaussians using a voting strategy. We demonstrate that 3D Gaussians with physical property annotations enable applications in physics-based dynamic simulation and robotic grasping. For physics-based dynamic simulation, we leverage the Material Point Method (MPM) for realistic dynamic simulation. For robot grasping, we develop a grasping force prediction strategy that estimates a safe force range required for object grasping based on the estimated physical properties. Extensive experiments on material segmentation, physics-based dynamic simulation, and robotic grasping validate the effectiveness of our proposed method, highlighting its crucial role in understanding physical properties from visual data. Online demo, code, more cases and annotated datasets are available on https://Gaussian-Property.github.io{this https URL}.