GaussianEigenschap: Het integreren van fysieke eigenschappen in 3D-Gaussianen met LMM's.

GaussianProperty: Integrating Physical Properties to 3D Gaussians with LMMs

December 15, 2024

Auteurs: Xinli Xu, Wenhang Ge, Dicong Qiu, ZhiFei Chen, Dongyu Yan, Zhuoyun Liu, Haoyu Zhao, Hanfeng Zhao, Shunsi Zhang, Junwei Liang, Ying-Cong Chen

cs.AI

Samenvatting

Het schatten van fysieke eigenschappen voor visuele data is een cruciale taak in computer vision, grafische vormgeving en robotica, waarbij toepassingen zoals augmented reality, fysieke simulatie en robotgrijpen worden ondersteund. Echter, dit gebied blijft onderbelicht vanwege de inherente ambiguïteit in het schatten van fysieke eigenschappen. Om deze uitdagingen aan te pakken, introduceren we GaussianProperty, een trainingvrij raamwerk dat fysieke eigenschappen van materialen toewijst aan 3D-Gaussianen. Specifiek integreren we de segmentatiecapaciteit van SAM met de herkenningscapaciteit van GPT-4V(ision) om een globaal-lokaal redeneermodule voor fysieke eigenschappen voor 2D-beelden te formuleren. Vervolgens projecteren we de fysieke eigenschappen van multi-view 2D-beelden naar 3D-Gaussianen met behulp van een stemstrategie. We tonen aan dat 3D-Gaussianen met fysieke eigenschapannotaties toepassingen mogelijk maken in op fysica gebaseerde dynamische simulatie en robotgrijpen. Voor op fysica gebaseerde dynamische simulatie maken we gebruik van de Material Point Method (MPM) voor realistische dynamische simulatie. Voor robotgrijpen ontwikkelen we een strategie voor het voorspellen van grijpkrachten die een veilig krachtbereik schatten dat nodig is voor het grijpen van objecten op basis van de geschatte fysieke eigenschappen. Uitgebreide experimenten op materiaalsegmentatie, op fysica gebaseerde dynamische simulatie en robotgrijpen bevestigen de effectiviteit van onze voorgestelde methode, waarbij de cruciale rol ervan in het begrijpen van fysieke eigenschappen uit visuele data wordt benadrukt. Een online demo, code, meer gevallen en geannoteerde datasets zijn beschikbaar op https://Gaussian-Property.github.io.

English

Estimating physical properties for visual data is a crucial task in computer vision, graphics, and robotics, underpinning applications such as augmented reality, physical simulation, and robotic grasping. However, this area remains under-explored due to the inherent ambiguities in physical property estimation. To address these challenges, we introduce GaussianProperty, a training-free framework that assigns physical properties of materials to 3D Gaussians. Specifically, we integrate the segmentation capability of SAM with the recognition capability of GPT-4V(ision) to formulate a global-local physical property reasoning module for 2D images. Then we project the physical properties from multi-view 2D images to 3D Gaussians using a voting strategy. We demonstrate that 3D Gaussians with physical property annotations enable applications in physics-based dynamic simulation and robotic grasping. For physics-based dynamic simulation, we leverage the Material Point Method (MPM) for realistic dynamic simulation. For robot grasping, we develop a grasping force prediction strategy that estimates a safe force range required for object grasping based on the estimated physical properties. Extensive experiments on material segmentation, physics-based dynamic simulation, and robotic grasping validate the effectiveness of our proposed method, highlighting its crucial role in understanding physical properties from visual data. Online demo, code, more cases and annotated datasets are available on https://Gaussian-Property.github.io{this https URL}.