TactAlign: Transferência de Política de Humano para Robô via Alinhamento Tátil
TactAlign: Human-to-Robot Policy Transfer via Tactile Alignment
February 14, 2026
Autores: Youngsun Wi, Jessica Yin, Elvis Xiang, Akash Sharma, Jitendra Malik, Mustafa Mukadam, Nima Fazeli, Tess Hellebrekers
cs.AI
Resumo
As demonstrações humanas coletadas por dispositivos vestíveis (por exemplo, luvas táteis) fornecem uma supervisão rápida e hábil para a aprendizagem de políticas, sendo guiadas por um feedback tátil rico e natural. No entanto, um desafio fundamental é como transferir os sinais táteis coletados por humanos para robôs, apesar das diferenças nas modalidades de sensoriamento e na incorporação física. As abordagens existentes de humano-para-robô (H2R) que incorporam o tato frequentemente assumem sensores táteis idênticos, exigem dados emparelhados e envolvem pouca ou nenhuma diferença de incorporação entre o demonstrador humano e os robôs, limitando a escalabilidade e a generalidade. Nós propomos o TactAlign, um método de alinhamento tátil entre incorporações físicas diferentes que transfere sinais táteis coletados por humanos para um robô com uma incorporação distinta. O TactAlign transforma as observações táteis humanas e robóticas numa representação latente compartilhada usando um fluxo retificado, sem a necessidade de conjuntos de dados emparelhados, rótulos manuais ou informações privilegiadas. O nosso método permite um transporte latente de baixo custo guiado por pseudo-pares derivados da interação mão-objeto. Demonstramos que o TactAlign melhora a transferência de políticas H2R em várias tarefas ricas em contacto (pivoteamento, inserção, fecho de tampa), generaliza-se para objetos e tarefas não vistos com dados humanos (menos de 5 minutos) e permite a transferência H2R de forma imediata (zero-shot) numa tarefa altamente hábil (aparafusamento de lâmpada).
English
Human demonstrations collected by wearable devices (e.g., tactile gloves) provide fast and dexterous supervision for policy learning, and are guided by rich, natural tactile feedback. However, a key challenge is how to transfer human-collected tactile signals to robots despite the differences in sensing modalities and embodiment. Existing human-to-robot (H2R) approaches that incorporate touch often assume identical tactile sensors, require paired data, and involve little to no embodiment gap between human demonstrator and the robots, limiting scalability and generality. We propose TactAlign, a cross-embodiment tactile alignment method that transfers human-collected tactile signals to a robot with different embodiment. TactAlign transforms human and robot tactile observations into a shared latent representation using a rectified flow, without paired datasets, manual labels, or privileged information. Our method enables low-cost latent transport guided by hand-object interaction-derived pseudo-pairs. We demonstrate that TactAlign improves H2R policy transfer across multiple contact-rich tasks (pivoting, insertion, lid closing), generalizes to unseen objects and tasks with human data (less than 5 minutes), and enables zero-shot H2R transfer on a highly dexterous tasks (light bulb screwing).