Door Tast Waarnemen: Op Aanraking Gebaseerde Visuele Lokalisatie van Materiaalgebieden

Seeing Through Touch: Tactile-Driven Visual Localization of Material Regions

April 13, 2026

Auteurs: Seongyu Kim, Seungwoo Lee, Hyeonggon Ryu, Joon Son Chung, Arda Senocak

cs.AI

Samenvatting

Wij behandelen het probleem van tactiele lokalisatie, waarbij het doel is om beeldregio's te identificeren die dezelfde materiaaleigenschappen delen als een tactiele invoer. Bestaande visuo-tactiele methoden vertrouwen op globale afstemming en slagen er daardoor niet in de fijnmazige lokale correspondenties te vangen die voor deze taak nodig zijn. De uitdaging wordt vergroot door bestaande datasets, die voornamelijk close-upbeelden met weinig diversiteit bevatten. Wij stellen een model voor dat lokale visuo-tactiele afstemming leert via dichte kruismodale feature-interacties, waardoor tactiele salientiekaarten worden geproduceerd voor op aanraking geconditioneerde materiaalsegmentatie. Om de beperkingen van datasets te overwinnen, introduceren wij: (i) multi-materiaal scènebeelden uit de praktijk die de visuele diversiteit vergroten, en (ii) een materiaaldiversiteit-koppelingsstrategie die elk tactiel monster afstemt op visueel gevarieerde maar tactiel consistente beelden, wat de contextuele lokalisatie en robuustheid tegen zwakke signalen verbetert. Wij hebben ook twee nieuwe datasets voor op tactiel gebaseerde materiaalsegmentatie samengesteld voor kwantitatieve evaluatie. Experimenten op zowel nieuwe als bestaande benchmarks tonen aan dat onze aanpak bestaande visuo-tactiele methoden aanzienlijk overtreft in tactiele lokalisatie.

English

We address the problem of tactile localization, where the goal is to identify image regions that share the same material properties as a tactile input. Existing visuo-tactile methods rely on global alignment and thus fail to capture the fine-grained local correspondences required for this task. The challenge is amplified by existing datasets, which predominantly contain close-up, low-diversity images. We propose a model that learns local visuo-tactile alignment via dense cross-modal feature interactions, producing tactile saliency maps for touch-conditioned material segmentation. To overcome dataset constraints, we introduce: (i) in-the-wild multi-material scene images that expand visual diversity, and (ii) a material-diversity pairing strategy that aligns each tactile sample with visually varied yet tactilely consistent images, improving contextual localization and robustness to weak signals. We also construct two new tactile-grounded material segmentation datasets for quantitative evaluation. Experiments on both new and existing benchmarks show that our approach substantially outperforms prior visuo-tactile methods in tactile localization.