Viendo a través del tacto: Localización visual de regiones de materiales impulsada por lo táctil

Seeing Through Touch: Tactile-Driven Visual Localization of Material Regions

April 13, 2026

Autores: Seongyu Kim, Seungwoo Lee, Hyeonggon Ryu, Joon Son Chung, Arda Senocak

cs.AI

Resumen

Abordamos el problema de la localización táctil, cuyo objetivo es identificar regiones de imagen que comparten las mismas propiedades materiales que una entrada táctil. Los métodos visotáctiles existentes se basan en una alineación global y, por lo tanto, no logran capturar las correspondencias locales de grano fino requeridas para esta tarea. El desafío se ve amplificado por los conjuntos de datos existentes, que contienen predominantemente imágenes de primer plano con baja diversidad. Proponemos un modelo que aprende la alineación visotáctil local mediante interacciones densas de características multimodales, produciendo mapas de prominencia táctil para la segmentación de materiales condicionada por el tacto. Para superar las limitaciones de los conjuntos de datos, introducimos: (i) imágenes de escenas multimateriales en entornos naturales que amplían la diversidad visual, y (ii) una estrategia de emparejamiento por diversidad material que alinea cada muestra táctil con imágenes visualmente variadas pero táctilmente consistentes, mejorando la localización contextual y la robustez ante señales débiles. También construimos dos nuevos conjuntos de datos de segmentación de materiales basados en tacto para evaluación cuantitativa. Los experimentos en nuevos benchmarks y existentes demuestran que nuestro enfoque supera sustancialmente a los métodos visotáctiles previos en localización táctil.

English

We address the problem of tactile localization, where the goal is to identify image regions that share the same material properties as a tactile input. Existing visuo-tactile methods rely on global alignment and thus fail to capture the fine-grained local correspondences required for this task. The challenge is amplified by existing datasets, which predominantly contain close-up, low-diversity images. We propose a model that learns local visuo-tactile alignment via dense cross-modal feature interactions, producing tactile saliency maps for touch-conditioned material segmentation. To overcome dataset constraints, we introduce: (i) in-the-wild multi-material scene images that expand visual diversity, and (ii) a material-diversity pairing strategy that aligns each tactile sample with visually varied yet tactilely consistent images, improving contextual localization and robustness to weak signals. We also construct two new tactile-grounded material segmentation datasets for quantitative evaluation. Experiments on both new and existing benchmarks show that our approach substantially outperforms prior visuo-tactile methods in tactile localization.