Durch Tastsinn sehen: Taktil gesteuerte visuelle Lokalisierung von Materialbereichen

Seeing Through Touch: Tactile-Driven Visual Localization of Material Regions

April 13, 2026

Autoren: Seongyu Kim, Seungwoo Lee, Hyeonggon Ryu, Joon Son Chung, Arda Senocak

cs.AI

Zusammenfassung

Wir behandeln das Problem der taktilen Lokalisierung, bei dem das Ziel darin besteht, Bildregionen zu identifizieren, die dieselben Materialeigenschaften wie eine taktile Eingabe aufweisen. Bestehende visuell-taktile Methoden basieren auf globaler Ausrichtung und erfassen daher nicht die fein granularen lokalen Entsprechungen, die für diese Aufgabe erforderlich sind. Die Herausforderung wird durch bestehende Datensätze verstärkt, die überwiegend Nahaufnahmen mit geringer Diversität enthalten. Wir schlagen ein Modell vor, das lokale visuell-taktile Ausrichtung durch dichte cross-modale Merkmalsinteraktionen erlernt und taktile Salienzkarten zur berührungsbedingten Materialsegmentierung erzeugt. Um die Datensatzbeschränkungen zu überwinden, führen wir ein: (i) Szenenbilder mit multiplen Materialien aus natürlichen Umgebungen, die die visuelle Vielfalt erweitern, und (ii) eine Materialdiversitäts-Paarungsstrategie, die jede taktile Probe mit visuell variierten, aber taktil konsistenten Bildern abgleicht, um die kontextuelle Lokalisierung und Robustheit gegenüber schwachen Signalen zu verbessern. Zudem erstellen wir zwei neue Datensätze für taktil gestützte Materialsegmentierung zur quantitativen Auswertung. Experimente auf sowohl neuen als auch bestehenden Benchmarks zeigen, dass unser Ansatz bestehende visuell-taktile Methoden bei der taktilen Lokalisierung erheblich übertrifft.

English

We address the problem of tactile localization, where the goal is to identify image regions that share the same material properties as a tactile input. Existing visuo-tactile methods rely on global alignment and thus fail to capture the fine-grained local correspondences required for this task. The challenge is amplified by existing datasets, which predominantly contain close-up, low-diversity images. We propose a model that learns local visuo-tactile alignment via dense cross-modal feature interactions, producing tactile saliency maps for touch-conditioned material segmentation. To overcome dataset constraints, we introduce: (i) in-the-wild multi-material scene images that expand visual diversity, and (ii) a material-diversity pairing strategy that aligns each tactile sample with visually varied yet tactilely consistent images, improving contextual localization and robustness to weak signals. We also construct two new tactile-grounded material segmentation datasets for quantitative evaluation. Experiments on both new and existing benchmarks show that our approach substantially outperforms prior visuo-tactile methods in tactile localization.