ガウス性質：物理的性質をLMMsを用いて3Dガウス関数に統合する

GaussianProperty: Integrating Physical Properties to 3D Gaussians with LMMs

December 15, 2024

著者: Xinli Xu, Wenhang Ge, Dicong Qiu, ZhiFei Chen, Dongyu Yan, Zhuoyun Liu, Haoyu Zhao, Hanfeng Zhao, Shunsi Zhang, Junwei Liang, Ying-Cong Chen

cs.AI

要旨

ビジョン、グラフィックス、ロボティクスにおいて、視覚データの物理特性を推定することは、拡張現実、物理シミュレーション、ロボティックグラスピングなどのアプリケーションを支える重要なタスクです。しかしながら、物理特性の推定には固有の曖昧さがあるため、この領域は未だ十分に探求されていません。これらの課題に対処するために、我々は GaussianProperty を導入します。これは、物質の物理特性を3次元のガウス分布に割り当てるトレーニング不要のフレームワークです。具体的には、SAM のセグメンテーション能力と GPT-4V(ision) の認識能力を統合し、2次元画像のためのグローバル・ローカルな物理特性推論モジュールを構築します。そして、複数視点の2次元画像から物理特性を3次元のガウス分布に投影するために投票戦略を使用します。物理特性の注釈付き3次元ガウス分布が、物理ベースのダイナミックシミュレーションやロボティックグラスピングのアプリケーションを可能にすることを示します。物理ベースのダイナミックシミュレーションでは、リアルなダイナミックシミュレーションのために Material Point Method (MPM) を活用します。ロボットグラスピングでは、推定された物理特性に基づいてオブジェクトグラスピングに必要な安全な力の範囲を推定するグラスピング力予測戦略を開発します。材料のセグメンテーション、物理ベースのダイナミックシミュレーション、ロボティックグラスピングに関する幅広い実験により、提案手法の効果を検証し、視覚データからの物理特性理解における重要な役割を強調します。オンラインデモ、コード、さらなるケース、注釈付きデータセットは、https://Gaussian-Property.github.io で利用可能です。

English

Estimating physical properties for visual data is a crucial task in computer vision, graphics, and robotics, underpinning applications such as augmented reality, physical simulation, and robotic grasping. However, this area remains under-explored due to the inherent ambiguities in physical property estimation. To address these challenges, we introduce GaussianProperty, a training-free framework that assigns physical properties of materials to 3D Gaussians. Specifically, we integrate the segmentation capability of SAM with the recognition capability of GPT-4V(ision) to formulate a global-local physical property reasoning module for 2D images. Then we project the physical properties from multi-view 2D images to 3D Gaussians using a voting strategy. We demonstrate that 3D Gaussians with physical property annotations enable applications in physics-based dynamic simulation and robotic grasping. For physics-based dynamic simulation, we leverage the Material Point Method (MPM) for realistic dynamic simulation. For robot grasping, we develop a grasping force prediction strategy that estimates a safe force range required for object grasping based on the estimated physical properties. Extensive experiments on material segmentation, physics-based dynamic simulation, and robotic grasping validate the effectiveness of our proposed method, highlighting its crucial role in understanding physical properties from visual data. Online demo, code, more cases and annotated datasets are available on https://Gaussian-Property.github.io{this https URL}.