Snap-it, Tap-it, Splat-it : Reconstruction de surfaces complexes par splatting de Gaussiennes 3D informé par le toucher

Snap-it, Tap-it, Splat-it: Tactile-Informed 3D Gaussian Splatting for Reconstructing Challenging Surfaces

March 29, 2024

Auteurs: Mauro Comi, Alessio Tonioni, Max Yang, Jonathan Tremblay, Valts Blukis, Yijiong Lin, Nathan F. Lepora, Laurence Aitchison

cs.AI

Résumé

Le toucher et la vision vont de pair, se renforçant mutuellement pour améliorer notre compréhension du monde. D'un point de vue recherche, le problème de combiner le toucher et la vision est peu exploré et présente des défis intéressants. À cette fin, nous proposons Tactile-Informed 3DGS, une approche novatrice qui intègre des données tactiles (cartes de profondeur locales) avec des données visuelles multi-vues pour réaliser la reconstruction de surface et la synthèse de nouvelles vues. Notre méthode optimise des primitives gaussiennes 3D pour modéliser avec précision la géométrie de l'objet aux points de contact. En créant un cadre qui réduit la transmittance aux emplacements tactiles, nous obtenons une reconstruction de surface affinée, garantissant une carte de profondeur uniformément lisse. Le toucher est particulièrement utile pour les objets non lambertiens (par exemple, les surfaces brillantes ou réfléchissantes), car les méthodes contemporaines échouent souvent à reconstruire fidèlement les reflets spéculaires. En combinant la vision et la perception tactile, nous obtenons des reconstructions géométriques plus précises avec moins d'images que les méthodes précédentes. Nous évaluons notre approche sur des objets à surfaces brillantes et réfléchissantes et démontrons son efficacité, offrant des améliorations significatives dans la qualité de la reconstruction.

English

Touch and vision go hand in hand, mutually enhancing our ability to understand the world. From a research perspective, the problem of mixing touch and vision is underexplored and presents interesting challenges. To this end, we propose Tactile-Informed 3DGS, a novel approach that incorporates touch data (local depth maps) with multi-view vision data to achieve surface reconstruction and novel view synthesis. Our method optimises 3D Gaussian primitives to accurately model the object's geometry at points of contact. By creating a framework that decreases the transmittance at touch locations, we achieve a refined surface reconstruction, ensuring a uniformly smooth depth map. Touch is particularly useful when considering non-Lambertian objects (e.g. shiny or reflective surfaces) since contemporary methods tend to fail to reconstruct with fidelity specular highlights. By combining vision and tactile sensing, we achieve more accurate geometry reconstructions with fewer images than prior methods. We conduct evaluation on objects with glossy and reflective surfaces and demonstrate the effectiveness of our approach, offering significant improvements in reconstruction quality.