Propriété gaussienne : Intégration des propriétés physiques aux gaussiennes 3D avec LMM.

GaussianProperty: Integrating Physical Properties to 3D Gaussians with LMMs

December 15, 2024

Auteurs: Xinli Xu, Wenhang Ge, Dicong Qiu, ZhiFei Chen, Dongyu Yan, Zhuoyun Liu, Haoyu Zhao, Hanfeng Zhao, Shunsi Zhang, Junwei Liang, Ying-Cong Chen

cs.AI

Résumé

Estimer les propriétés physiques des données visuelles est une tâche cruciale en vision par ordinateur, en infographie et en robotique, sous-tendant des applications telles que la réalité augmentée, la simulation physique et la préhension robotique. Cependant, ce domaine reste peu exploré en raison des ambiguïtés inhérentes à l'estimation des propriétés physiques. Pour relever ces défis, nous introduisons GaussianProperty, un cadre sans entraînement qui attribue des propriétés physiques de matériaux à des Gaussiennes en 3D. Plus précisément, nous intégrons la capacité de segmentation de SAM avec la capacité de reconnaissance de GPT-4V(ision) pour formuler un module de raisonnement sur les propriétés physiques global-local pour les images en 2D. Ensuite, nous projetons les propriétés physiques à partir d'images en 2D multi-vues sur des Gaussiennes en 3D en utilisant une stratégie de vote. Nous démontrons que les Gaussiennes en 3D avec des annotations de propriétés physiques permettent des applications dans la simulation dynamique basée sur la physique et la préhension robotique. Pour la simulation dynamique basée sur la physique, nous exploitons la Méthode des Points Matériels (MPM) pour une simulation dynamique réaliste. Pour la préhension robotique, nous développons une stratégie de prédiction de la force de préhension qui estime une plage de forces sûre requise pour la préhension d'objets en fonction des propriétés physiques estimées. Des expériences approfondies sur la segmentation des matériaux, la simulation dynamique basée sur la physique et la préhension robotique valident l'efficacité de notre méthode proposée, mettant en évidence son rôle crucial dans la compréhension des propriétés physiques à partir de données visuelles. Une démonstration en ligne, du code, plus de cas et des ensembles de données annotés sont disponibles sur https://Gaussian-Property.github.io.

English

Estimating physical properties for visual data is a crucial task in computer vision, graphics, and robotics, underpinning applications such as augmented reality, physical simulation, and robotic grasping. However, this area remains under-explored due to the inherent ambiguities in physical property estimation. To address these challenges, we introduce GaussianProperty, a training-free framework that assigns physical properties of materials to 3D Gaussians. Specifically, we integrate the segmentation capability of SAM with the recognition capability of GPT-4V(ision) to formulate a global-local physical property reasoning module for 2D images. Then we project the physical properties from multi-view 2D images to 3D Gaussians using a voting strategy. We demonstrate that 3D Gaussians with physical property annotations enable applications in physics-based dynamic simulation and robotic grasping. For physics-based dynamic simulation, we leverage the Material Point Method (MPM) for realistic dynamic simulation. For robot grasping, we develop a grasping force prediction strategy that estimates a safe force range required for object grasping based on the estimated physical properties. Extensive experiments on material segmentation, physics-based dynamic simulation, and robotic grasping validate the effectiveness of our proposed method, highlighting its crucial role in understanding physical properties from visual data. Online demo, code, more cases and annotated datasets are available on https://Gaussian-Property.github.io{this https URL}.