Gaußsche Eigenschaft: Integration physikalischer Eigenschaften in 3D-Gaußsche mit LMMs

GaussianProperty: Integrating Physical Properties to 3D Gaussians with LMMs

December 15, 2024

Autoren: Xinli Xu, Wenhang Ge, Dicong Qiu, ZhiFei Chen, Dongyu Yan, Zhuoyun Liu, Haoyu Zhao, Hanfeng Zhao, Shunsi Zhang, Junwei Liang, Ying-Cong Chen

cs.AI

Zusammenfassung

Die Schätzung physikalischer Eigenschaften für visuelle Daten ist eine entscheidende Aufgabe in der Computer Vision, Grafik und Robotik, die Anwendungen wie erweiterte Realität, physikalische Simulation und robotergestütztes Greifen unterstützt. Allerdings ist dieses Gebiet aufgrund der inhärenten Mehrdeutigkeiten bei der Schätzung physikalischer Eigenschaften noch wenig erforscht. Um diesen Herausforderungen zu begegnen, stellen wir GaussianProperty vor, ein trainingsfreies Framework, das physikalische Eigenschaften von Materialien 3D-Gaußschen zuweist. Konkret integrieren wir die Segmentierungsfähigkeit von SAM mit der Erkennungsfähigkeit von GPT-4V(ision), um ein globales-lokales Modul für die physikalische Eigenschaftsüberlegung für 2D-Bilder zu formulieren. Anschließend projizieren wir die physikalischen Eigenschaften von Multi-View-2D-Bildern auf 3D-Gaußsche mithilfe einer Abstimmungsstrategie. Wir zeigen, dass 3D-Gaußsche mit physikalischen Eigenschaftsanmerkungen Anwendungen in physikbasierten dynamischen Simulationen und robotergestütztem Greifen ermöglichen. Für physikbasierte dynamische Simulationen nutzen wir die Materialpunkt-Methode (MPM) für realistische dynamische Simulationen. Für das Roboter-Greifen entwickeln wir eine Greifkraftvorhersagestrategie, die einen sicheren Kraftbereich schätzt, der für das Greifen von Objekten basierend auf den geschätzten physikalischen Eigenschaften erforderlich ist. Umfangreiche Experimente zur Materialsegmentierung, physikbasierten dynamischen Simulation und robotergestütztem Greifen bestätigen die Wirksamkeit unserer vorgeschlagenen Methode und unterstreichen ihre entscheidende Rolle beim Verständnis physikalischer Eigenschaften aus visuellen Daten. Online-Demo, Code, weitere Fälle und annotierte Datensätze sind verfügbar unter https://Gaussian-Property.github.io.

English

Estimating physical properties for visual data is a crucial task in computer vision, graphics, and robotics, underpinning applications such as augmented reality, physical simulation, and robotic grasping. However, this area remains under-explored due to the inherent ambiguities in physical property estimation. To address these challenges, we introduce GaussianProperty, a training-free framework that assigns physical properties of materials to 3D Gaussians. Specifically, we integrate the segmentation capability of SAM with the recognition capability of GPT-4V(ision) to formulate a global-local physical property reasoning module for 2D images. Then we project the physical properties from multi-view 2D images to 3D Gaussians using a voting strategy. We demonstrate that 3D Gaussians with physical property annotations enable applications in physics-based dynamic simulation and robotic grasping. For physics-based dynamic simulation, we leverage the Material Point Method (MPM) for realistic dynamic simulation. For robot grasping, we develop a grasping force prediction strategy that estimates a safe force range required for object grasping based on the estimated physical properties. Extensive experiments on material segmentation, physics-based dynamic simulation, and robotic grasping validate the effectiveness of our proposed method, highlighting its crucial role in understanding physical properties from visual data. Online demo, code, more cases and annotated datasets are available on https://Gaussian-Property.github.io{this https URL}.