Vedere Attraverso il Tatto: Localizzazione Visiva di Regioni Materiali Guidata da Stimoli Tattili

Seeing Through Touch: Tactile-Driven Visual Localization of Material Regions

April 13, 2026

Autori: Seongyu Kim, Seungwoo Lee, Hyeonggon Ryu, Joon Son Chung, Arda Senocak

cs.AI

Abstract

Affrontiamo il problema della localizzazione tattile, il cui obiettivo è identificare regioni immagine che condividono le stesse proprietà materiali di un input tattile. I metodi visuo-tattili esistenti si basano su un allineamento globale e quindi non riescono a catturare le corrispondenze locali granulari necessarie per questo compito. La sfida è amplificata dai dataset esistenti, che contengono prevalentemente immagini ravvicinate e a bassa diversità. Proponiamo un modello che apprende l'allineamento visuo-tattile locale tramite interazioni dense tra feature cross-modal, producendo mappe di salienza tattile per la segmentazione di materiali condizionata al tatto. Per superare i limiti dei dataset, introduciamo: (i) immagini di scene con multi-materiali in contesti reali che espandono la diversità visiva, e (ii) una strategia di accoppiamento basata sulla diversità materiale che allinea ogni campione tattile con immagini visivamente variate ma tattilmente consistenti, migliorando la localizzazione contestuale e la robustezza a segnali deboli. Costruiamo inoltre due nuovi dataset per la segmentazione di materiali basata su dati tattili per la valutazione quantitativa. Esperimenti su benchmark sia nuovi che esistenti dimostrano che il nostro approccio supera sostanzialmente i metodi visuo-tattili precedenti nella localizzazione tattile.

English

We address the problem of tactile localization, where the goal is to identify image regions that share the same material properties as a tactile input. Existing visuo-tactile methods rely on global alignment and thus fail to capture the fine-grained local correspondences required for this task. The challenge is amplified by existing datasets, which predominantly contain close-up, low-diversity images. We propose a model that learns local visuo-tactile alignment via dense cross-modal feature interactions, producing tactile saliency maps for touch-conditioned material segmentation. To overcome dataset constraints, we introduce: (i) in-the-wild multi-material scene images that expand visual diversity, and (ii) a material-diversity pairing strategy that aligns each tactile sample with visually varied yet tactilely consistent images, improving contextual localization and robustness to weak signals. We also construct two new tactile-grounded material segmentation datasets for quantitative evaluation. Experiments on both new and existing benchmarks show that our approach substantially outperforms prior visuo-tactile methods in tactile localization.