TactAlign: Transferencia de Políticas de Humano a Robot mediante Alineación Táctil
TactAlign: Human-to-Robot Policy Transfer via Tactile Alignment
February 14, 2026
Autores: Youngsun Wi, Jessica Yin, Elvis Xiang, Akash Sharma, Jitendra Malik, Mustafa Mukadam, Nima Fazeli, Tess Hellebrekers
cs.AI
Resumen
Las demostraciones humanas recogidas por dispositivos portátiles (por ejemplo, guantes táctiles) proporcionan una supervisión rápida y diestra para el aprendizaje de políticas, guiadas por una retroalimentación táctil natural y rica. Sin embargo, un desafío clave es cómo transferir las señales táctiles recogidas por humanos a los robots a pesar de las diferencias en las modalidades de detección y la encarnación. Los enfoques existentes de humano a robot (H2R) que incorporan el tacto a menudo asumen sensores táctiles idénticos, requieren datos emparejados e implican poca o ninguna brecha de encarnación entre el demostrador humano y los robots, lo que limita la escalabilidad y la generalidad. Proponemos TactAlign, un método de alineación táctil de encarnación cruzada que transfiere señales táctiles recogidas por humanos a un robot con diferente encarnación. TactAlign transforma las observaciones táctiles humanas y del robot en una representación latente compartida utilizando un flujo rectificado, sin necesidad de conjuntos de datos emparejados, etiquetas manuales o información privilegiada. Nuestro método permite un transporte latente de bajo costo guiado por pseudo-pares derivados de la interacción mano-objeto. Demostramos que TactAlign mejora la transferencia de políticas H2R en múltiples tareas con contacto rico (pivote, inserción, cierre de tapa), generaliza a objetos y tareas no vistos con datos humanos (menos de 5 minutos) y permite la transferencia H2R de cero disparos en una tarea altamente diestra (atornillado de bombilla).
English
Human demonstrations collected by wearable devices (e.g., tactile gloves) provide fast and dexterous supervision for policy learning, and are guided by rich, natural tactile feedback. However, a key challenge is how to transfer human-collected tactile signals to robots despite the differences in sensing modalities and embodiment. Existing human-to-robot (H2R) approaches that incorporate touch often assume identical tactile sensors, require paired data, and involve little to no embodiment gap between human demonstrator and the robots, limiting scalability and generality. We propose TactAlign, a cross-embodiment tactile alignment method that transfers human-collected tactile signals to a robot with different embodiment. TactAlign transforms human and robot tactile observations into a shared latent representation using a rectified flow, without paired datasets, manual labels, or privileged information. Our method enables low-cost latent transport guided by hand-object interaction-derived pseudo-pairs. We demonstrate that TactAlign improves H2R policy transfer across multiple contact-rich tasks (pivoting, insertion, lid closing), generalizes to unseen objects and tasks with human data (less than 5 minutes), and enables zero-shot H2R transfer on a highly dexterous tasks (light bulb screwing).