Propriedade Gaussiana: Integrando Propriedades Físicas em Gaussiana 3D com LMMs

GaussianProperty: Integrating Physical Properties to 3D Gaussians with LMMs

December 15, 2024

Autores: Xinli Xu, Wenhang Ge, Dicong Qiu, ZhiFei Chen, Dongyu Yan, Zhuoyun Liu, Haoyu Zhao, Hanfeng Zhao, Shunsi Zhang, Junwei Liang, Ying-Cong Chen

cs.AI

Resumo

Estimar propriedades físicas para dados visuais é uma tarefa crucial em visão computacional, gráficos e robótica, sustentando aplicações como realidade aumentada, simulação física e agarre robótico. No entanto, esta área permanece pouco explorada devido às ambiguidades inerentes na estimativa de propriedades físicas. Para enfrentar esses desafios, apresentamos o GaussianProperty, um framework sem treinamento que atribui propriedades físicas de materiais a Gaussianas 3D. Especificamente, integramos a capacidade de segmentação do SAM com a capacidade de reconhecimento do GPT-4V(ision) para formular um módulo de raciocínio de propriedade física global-local para imagens 2D. Em seguida, projetamos as propriedades físicas de imagens 2D de múltiplas vistas para Gaussianas 3D usando uma estratégia de votação. Demonstramos que Gaussianas 3D com anotações de propriedades físicas possibilitam aplicações em simulação dinâmica baseada em física e agarre robótico. Para simulação dinâmica baseada em física, aproveitamos o Método de Pontos de Material (MPM) para simulação dinâmica realista. Para o agarre de robôs, desenvolvemos uma estratégia de previsão de força de agarre que estima uma faixa de força segura necessária para o agarre de objetos com base nas propriedades físicas estimadas. Experimentos extensivos em segmentação de materiais, simulação dinâmica baseada em física e agarre robótico validam a eficácia de nosso método proposto, destacando seu papel crucial na compreensão de propriedades físicas a partir de dados visuais. Demonstração online, código, mais casos e conjuntos de dados anotados estão disponíveis em https://Gaussian-Property.github.io.

English

Estimating physical properties for visual data is a crucial task in computer vision, graphics, and robotics, underpinning applications such as augmented reality, physical simulation, and robotic grasping. However, this area remains under-explored due to the inherent ambiguities in physical property estimation. To address these challenges, we introduce GaussianProperty, a training-free framework that assigns physical properties of materials to 3D Gaussians. Specifically, we integrate the segmentation capability of SAM with the recognition capability of GPT-4V(ision) to formulate a global-local physical property reasoning module for 2D images. Then we project the physical properties from multi-view 2D images to 3D Gaussians using a voting strategy. We demonstrate that 3D Gaussians with physical property annotations enable applications in physics-based dynamic simulation and robotic grasping. For physics-based dynamic simulation, we leverage the Material Point Method (MPM) for realistic dynamic simulation. For robot grasping, we develop a grasping force prediction strategy that estimates a safe force range required for object grasping based on the estimated physical properties. Extensive experiments on material segmentation, physics-based dynamic simulation, and robotic grasping validate the effectiveness of our proposed method, highlighting its crucial role in understanding physical properties from visual data. Online demo, code, more cases and annotated datasets are available on https://Gaussian-Property.github.io{this https URL}.