HydroShear: Hydro-elastische schuifsimulatie voor tactiele simulatie-naar-realiteit-versterkend leren

HydroShear: Hydroelastic Shear Simulation for Tactile Sim-to-Real Reinforcement Learning

February 28, 2026

Auteurs: An Dang, Jayjun Lee, Mustafa Mukadam, X. Alice Wu, Bernadette Bucher, Manikantan Nambi, Nima Fazeli

cs.AI

Samenvatting

In dit artikel behandelen we het probleem van tactiele sim-naar-real policy transfer voor taken met veel contact. Bestaande methodes richten zich voornamelijk op op visie gebaseerde sensoren en benadrukken de kwaliteit van beeldweergave, terwijl ze te simplistische modellen voor kracht en afschuiving bieden. Dientengevolge vertonen deze modellen een grote sim-naar-real kloof voor veel behendigheidstaken. Hier presenteren we HydroShear, een niet-holonome hydro-elastische tactiele simulator die de stand-van-de-techniek vooruithelpt door het modelleren van: a) overgangen tussen vast- en glijgedrag (stick-slip), b) pad-afhankelijke opbouw van kracht en afschuiving, en c) volledige SE(3) object-sensor interacties. HydroShear breidt hydro-elastische contactmodellen uit met behulp van Signed Distance Functions (SDF's) om de verplaatsingen van de punten op het oppervlak van een indringer te volgen tijdens fysieke interactie met het sensormembraan. Onze aanpak genereert fysica-gebaseerde, computationeel efficiënte krachtvelden vanuit willekeurige waterdichte geometrieën, terwijl deze agnostisch blijft voor de onderliggende physics engine. In experimenten met GelSight Mini's reproduceert HydroShear de werkelijke tactiele afschuiving nauwkeuriger dan bestaande methodes. Deze nauwkeurigheid maakt zero-shot sim-naar-real transfer van reinforcement learning policies mogelijk voor vier taken: pen-invoeging, bin packing, het plaatsen van boeken op een plank voor insertie, en het trekken aan een lade voor fijne grijperregeling tijdens slippen. Onze methode behaalt een gemiddeld slagingspercentage van 93%, wat beter presteert dan policies getraind op tactiele beelden (34%) en alternatieve afschuivingssimulatiemethodes (58%-61%).

English

In this paper, we address the problem of tactile sim-to-real policy transfer for contact-rich tasks. Existing methods primarily focus on vision-based sensors and emphasize image rendering quality while providing overly simplistic models of force and shear. Consequently, these models exhibit a large sim-to-real gap for many dexterous tasks. Here, we present HydroShear, a non-holonomic hydroelastic tactile simulator that advances the state-of-the-art by modeling: a) stick-slip transitions, b) path-dependent force and shear build up, and c) full SE(3) object-sensor interactions. HydroShear extends hydroelastic contact models using Signed Distance Functions (SDFs) to track the displacements of the on-surface points of an indenter during physical interaction with the sensor membrane. Our approach generates physics-based, computationally efficient force fields from arbitrary watertight geometries while remaining agnostic to the underlying physics engine. In experiments with GelSight Minis, HydroShear more faithfully reproduces real tactile shear compared to existing methods. This fidelity enables zero-shot sim-to-real transfer of reinforcement learning policies across four tasks: peg insertion, bin packing, book shelving for insertion, and drawer pulling for fine gripper control under slip. Our method achieves a 93% average success rate, outperforming policies trained on tactile images (34%) and alternative shear simulation methods (58%-61%).