Snap-it, Tap-it, Splat-it: 困難な表面再構築のための触覚情報統合型3Dガウススプラッティング

Snap-it, Tap-it, Splat-it: Tactile-Informed 3D Gaussian Splatting for Reconstructing Challenging Surfaces

March 29, 2024

著者: Mauro Comi, Alessio Tonioni, Max Yang, Jonathan Tremblay, Valts Blukis, Yijiong Lin, Nathan F. Lepora, Laurence Aitchison

cs.AI

要旨

触覚と視覚は互いに補完し合い、世界を理解する能力を高めます。研究の観点から見ると、触覚と視覚を組み合わせる問題は十分に探求されておらず、興味深い課題を提示しています。この目的のために、我々はTactile-Informed 3DGSを提案します。これは、触覚データ（局所深度マップ）と多視点視覚データを組み合わせて、表面再構成と新規視点合成を実現する新しいアプローチです。本手法では、接触点における物体の幾何学を正確にモデル化するために3Dガウシアンプリミティブを最適化します。触覚位置での透過率を低下させるフレームワークを作成することで、均一に滑らかな深度マップを保証し、洗練された表面再構成を実現します。触覚は、非ランバート物体（例えば光沢のある表面や反射面）を考慮する際に特に有用です。なぜなら、現代の手法では鏡面ハイライトを忠実に再構成することが困難だからです。視覚と触覚センシングを組み合わせることで、従来の手法よりも少ない画像数でより正確な幾何学再構成を実現します。我々は、光沢のある表面や反射面を持つ物体に対して評価を行い、本手法の有効性を実証し、再構成品質の大幅な向上を示します。

English

Touch and vision go hand in hand, mutually enhancing our ability to understand the world. From a research perspective, the problem of mixing touch and vision is underexplored and presents interesting challenges. To this end, we propose Tactile-Informed 3DGS, a novel approach that incorporates touch data (local depth maps) with multi-view vision data to achieve surface reconstruction and novel view synthesis. Our method optimises 3D Gaussian primitives to accurately model the object's geometry at points of contact. By creating a framework that decreases the transmittance at touch locations, we achieve a refined surface reconstruction, ensuring a uniformly smooth depth map. Touch is particularly useful when considering non-Lambertian objects (e.g. shiny or reflective surfaces) since contemporary methods tend to fail to reconstruct with fidelity specular highlights. By combining vision and tactile sensing, we achieve more accurate geometry reconstructions with fewer images than prior methods. We conduct evaluation on objects with glossy and reflective surfaces and demonstrate the effectiveness of our approach, offering significant improvements in reconstruction quality.