HydroShear: Simulazione Idroelastica a Taglio per l'Apprendimento per Rinforzo Tattile Sim-to-Real
HydroShear: Hydroelastic Shear Simulation for Tactile Sim-to-Real Reinforcement Learning
February 28, 2026
Autori: An Dang, Jayjun Lee, Mustafa Mukadam, X. Alice Wu, Bernadette Bucher, Manikantan Nambi, Nima Fazeli
cs.AI
Abstract
In questo articolo, affrontiamo il problema del trasferimento sim-to-real di politiche per compiti ad alto contatto basate su dati tattili. I metodi esistenti si concentrano principalmente su sensori di tipo visivo ed enfatizzano la qualità del rendering delle immagini, fornendo al contempo modelli eccessivamente semplificati della forza e dello sforzo di taglio. Di conseguenza, questi modelli presentano un ampio divario sim-to-real per molti compiti di manipolazione fine. Presentiamo qui HydroShear, un simulatore tattile idroelastico non olonomo che avanza lo stato dell'arte modellando: a) le transizioni di adesione-scorrimento (stick-slip), b) l'accumulo di forza e sforzo di taglio dipendente dal percorso, e c) le interazioni complete SE(3) tra oggetto e sensore. HydroShear estende i modelli di contatto idroelastici utilizzando le Funzioni di Distanza con Segno (SDF) per tracciare gli spostamenti dei punti sulla superficie di un indentatore durante l'interazione fisica con la membrana del sensore. Il nostro approccio genera campi di forza basati sulla fisica e computazionalmente efficienti a partire da geometrie "watertight" arbitrarie, rimanendo al contempo agnostico rispetto al motore fisico sottostante. Negli esperimenti con i sensori GelSight Mini, HydroShear riproduce lo sforzo di taglio tattile reale in modo più fedele rispetto ai metodi esistenti. Questa fedeltà consente il trasferimento sim-to-real zero-shot di politiche di apprendimento per rinforzo attraverso quattro compiti: inserimento di un piolo, riempimento di un contenitore, sistemazione di un libro su uno scaffale (per l'inserimento) e apertura di un cassetto (per il controllo fine della presa in condizioni di scorrimento). Il nostro metodo raggiunge un tasso di successo medio del 93%, superando le politiche addestrate su immagini tattili (34%) e i metodi alternativi di simulazione dello sforzo di taglio (58%-61%).
English
In this paper, we address the problem of tactile sim-to-real policy transfer for contact-rich tasks. Existing methods primarily focus on vision-based sensors and emphasize image rendering quality while providing overly simplistic models of force and shear. Consequently, these models exhibit a large sim-to-real gap for many dexterous tasks. Here, we present HydroShear, a non-holonomic hydroelastic tactile simulator that advances the state-of-the-art by modeling: a) stick-slip transitions, b) path-dependent force and shear build up, and c) full SE(3) object-sensor interactions. HydroShear extends hydroelastic contact models using Signed Distance Functions (SDFs) to track the displacements of the on-surface points of an indenter during physical interaction with the sensor membrane. Our approach generates physics-based, computationally efficient force fields from arbitrary watertight geometries while remaining agnostic to the underlying physics engine. In experiments with GelSight Minis, HydroShear more faithfully reproduces real tactile shear compared to existing methods. This fidelity enables zero-shot sim-to-real transfer of reinforcement learning policies across four tasks: peg insertion, bin packing, book shelving for insertion, and drawer pulling for fine gripper control under slip. Our method achieves a 93% average success rate, outperforming policies trained on tactile images (34%) and alternative shear simulation methods (58%-61%).