TactAlign: Beleidsoverdracht van Mens naar Robot via Tactiele Afstemming
TactAlign: Human-to-Robot Policy Transfer via Tactile Alignment
February 14, 2026
Auteurs: Youngsun Wi, Jessica Yin, Elvis Xiang, Akash Sharma, Jitendra Malik, Mustafa Mukadam, Nima Fazeli, Tess Hellebrekers
cs.AI
Samenvatting
Demonstraties van mensen, verzameld met draagbare apparaten (bijvoorbeeld tactiele handschoenen), bieden snelle en behendige supervisie voor beleidsleren, en worden geleid door rijke, natuurlijke tactiele feedback. Een belangrijke uitdaging is echter hoe menselijk verzamelde tactiele signalen over te dragen aan robots, ondanks de verschillen in sensorische modaliteiten en belichaming. Bestaande mens-naar-robot (H2R) benaderingen die aanraking incorporeren, veronderstellen vaak identieke tactiele sensoren, vereisen gepaarde gegevens, en kennen weinig tot geen belichamingskloof tussen de menselijke demonstrator en de robots, wat de schaalbaarheid en algemeenheid beperkt. Wij stellen TactAlign voor, een kruis-belichaming tactiele aligneringsmethode die menselijk verzamelde tactiele signalen overdraagt naar een robot met een andere belichaming. TactAlign transformeert menselijke en robot tactiele waarnemingen naar een gedeelde latente representatie met behulp van een gerectificeerde stroom, zonder gepaarde datasets, handmatige labels of geprivilegieerde informatie. Onze methode maakt goedkopen latent transport mogelijk, geleid door pseudo-paren afgeleid van hand-object interacties. Wij tonen aan dat TactAlign H2R-beleidsoverdracht verbetert over meerdere contactrijke taken (pivoteren, insertie, deksel sluiten), generaliseert naar onbekende objecten en taken met menselijke gegevens (minder dan 5 minuten), en zero-shot H2R-overdracht mogelijk maakt voor een zeer behendige taak (het indraaien van een lamp).
English
Human demonstrations collected by wearable devices (e.g., tactile gloves) provide fast and dexterous supervision for policy learning, and are guided by rich, natural tactile feedback. However, a key challenge is how to transfer human-collected tactile signals to robots despite the differences in sensing modalities and embodiment. Existing human-to-robot (H2R) approaches that incorporate touch often assume identical tactile sensors, require paired data, and involve little to no embodiment gap between human demonstrator and the robots, limiting scalability and generality. We propose TactAlign, a cross-embodiment tactile alignment method that transfers human-collected tactile signals to a robot with different embodiment. TactAlign transforms human and robot tactile observations into a shared latent representation using a rectified flow, without paired datasets, manual labels, or privileged information. Our method enables low-cost latent transport guided by hand-object interaction-derived pseudo-pairs. We demonstrate that TactAlign improves H2R policy transfer across multiple contact-rich tasks (pivoting, insertion, lid closing), generalizes to unseen objects and tasks with human data (less than 5 minutes), and enables zero-shot H2R transfer on a highly dexterous tasks (light bulb screwing).