HydroShear: Hydroelastische Schersimulation für taktiles Sim-to-Real Reinforcement Learning
HydroShear: Hydroelastic Shear Simulation for Tactile Sim-to-Real Reinforcement Learning
February 28, 2026
Autoren: An Dang, Jayjun Lee, Mustafa Mukadam, X. Alice Wu, Bernadette Bucher, Manikantan Nambi, Nima Fazeli
cs.AI
Zusammenfassung
In dieser Arbeit behandeln wir das Problem des taktilen Sim-to-Real-Policy-Transfers für kontaktintensive Aufgaben. Bestehende Methoden konzentrieren sich primär auf visuell basierte Sensoren und legen den Schwerpunkt auf die Bildwiedergabequalität, während sie nur stark vereinfachte Modelle für Druck- und Scherkräfte bieten. Infolgedessen weisen diese Modelle für viele geschickte Aufgaben eine große Sim-to-Real-Lücke auf. Hier stellen wir HydroShear vor, einen nicht-holonomen hydroelastischen taktilen Simulator, der den Stand der Technik voranbringt, indem er modelliert: a) Haft-Gleit-Übergänge, b) pfadabhängigen Kraft- und Scherkraftaufbau und c) vollständige SE(3)-Interaktionen zwischen Objekt und Sensor. HydroShear erweitert hydroelastische Kontaktmodelle unter Verwendung von Signed Distance Functions (SDFs), um die Verschiebungen der Oberflächenpunkte eines Eindringkörpers während der physikalischen Interaktion mit der Sensormembran zu verfolgen. Unser Ansatz erzeugt physikalisch basierte, recheneffiziente Kraftfelder aus beliebigen wasserdichten Geometrien und bleibt dabei agnostisch gegenüber der zugrundeliegenden Physik-Engine. In Experimenten mit GelSight Mini-Sensoren reproduziert HydroShear im Vergleich zu bestehenden Methoden die reale taktile Scherung treuer. Diese Genauigkeit ermöglicht einen Zero-Shot-Sim-to-Real-Transfer von Reinforcement-Learning-Policies über vier Aufgaben hinweg: Stift-Einfügung, Behälter-Befüllung, Bücher-Einräumen zum Einfügen und Schubladen-Ziehen zur feinen Greifersteuerung unter Rutschbedingungen. Unsere Methode erreicht eine durchschnittliche Erfolgsrate von 93 % und übertrifft damit Policies, die auf taktilen Bildern trainiert wurden (34 %), sowie alternative Schersimulationsmethoden (58 %–61 %).
English
In this paper, we address the problem of tactile sim-to-real policy transfer for contact-rich tasks. Existing methods primarily focus on vision-based sensors and emphasize image rendering quality while providing overly simplistic models of force and shear. Consequently, these models exhibit a large sim-to-real gap for many dexterous tasks. Here, we present HydroShear, a non-holonomic hydroelastic tactile simulator that advances the state-of-the-art by modeling: a) stick-slip transitions, b) path-dependent force and shear build up, and c) full SE(3) object-sensor interactions. HydroShear extends hydroelastic contact models using Signed Distance Functions (SDFs) to track the displacements of the on-surface points of an indenter during physical interaction with the sensor membrane. Our approach generates physics-based, computationally efficient force fields from arbitrary watertight geometries while remaining agnostic to the underlying physics engine. In experiments with GelSight Minis, HydroShear more faithfully reproduces real tactile shear compared to existing methods. This fidelity enables zero-shot sim-to-real transfer of reinforcement learning policies across four tasks: peg insertion, bin packing, book shelving for insertion, and drawer pulling for fine gripper control under slip. Our method achieves a 93% average success rate, outperforming policies trained on tactile images (34%) and alternative shear simulation methods (58%-61%).