스냅-잇, 탭-잇, 스플랫-잇: 도전적인 표면 재구성을 위한 촉각 정보 기반 3D 가우시안 스플래팅

Snap-it, Tap-it, Splat-it: Tactile-Informed 3D Gaussian Splatting for Reconstructing Challenging Surfaces

March 29, 2024

저자: Mauro Comi, Alessio Tonioni, Max Yang, Jonathan Tremblay, Valts Blukis, Yijiong Lin, Nathan F. Lepora, Laurence Aitchison

cs.AI

초록

촉각과 시각은 서로 보완적으로 작용하며 우리가 세상을 이해하는 능력을 향상시킵니다. 연구 관점에서 볼 때, 촉각과 시각을 결합하는 문제는 충분히 탐구되지 않았으며 흥미로운 도전 과제를 제시합니다. 이를 위해 우리는 촉각 데이터(로컬 깊이 맵)와 다중 시점 시각 데이터를 결합하여 표면 재구성과 새로운 시점 합성을 달성하는 새로운 접근 방식인 Tactile-Informed 3DGS를 제안합니다. 우리의 방법은 접촉 지점에서 물체의 기하학을 정확하게 모델링하기 위해 3D 가우시안 프리미티브를 최적화합니다. 촉각 위치에서 투과율을 감소시키는 프레임워크를 구축함으로써, 균일하게 매끄러운 깊이 맵을 보장하며 정제된 표면 재구성을 달성합니다. 촉각은 특히 비람베르트 물체(예: 반짝이거나 반사적인 표면)를 고려할 때 유용한데, 이는 현대적인 방법들이 정확하게 반사 하이라이트를 재구성하는 데 실패하는 경향이 있기 때문입니다. 시각과 촉각 감지를 결합함으로써, 우리는 이전 방법들보다 더 적은 수의 이미지로 더 정확한 기하학적 재구성을 달성합니다. 우리는 광택이 있고 반사적인 표면을 가진 물체에 대해 평가를 수행하고, 재구성 품질에서의 상당한 개선을 보여주며 우리의 접근 방식의 효과를 입증합니다.

English

Touch and vision go hand in hand, mutually enhancing our ability to understand the world. From a research perspective, the problem of mixing touch and vision is underexplored and presents interesting challenges. To this end, we propose Tactile-Informed 3DGS, a novel approach that incorporates touch data (local depth maps) with multi-view vision data to achieve surface reconstruction and novel view synthesis. Our method optimises 3D Gaussian primitives to accurately model the object's geometry at points of contact. By creating a framework that decreases the transmittance at touch locations, we achieve a refined surface reconstruction, ensuring a uniformly smooth depth map. Touch is particularly useful when considering non-Lambertian objects (e.g. shiny or reflective surfaces) since contemporary methods tend to fail to reconstruct with fidelity specular highlights. By combining vision and tactile sensing, we achieve more accurate geometry reconstructions with fewer images than prior methods. We conduct evaluation on objects with glossy and reflective surfaces and demonstrate the effectiveness of our approach, offering significant improvements in reconstruction quality.