HydroShear : Simulation de cisaillement hydroélastique pour l'apprentissage par renforcement tactile de simulation à réalité

HydroShear: Hydroelastic Shear Simulation for Tactile Sim-to-Real Reinforcement Learning

February 28, 2026

Auteurs: An Dang, Jayjun Lee, Mustafa Mukadam, X. Alice Wu, Bernadette Bucher, Manikantan Nambi, Nima Fazeli

cs.AI

Résumé

Dans cet article, nous abordons le problème du transfert de politique « sim-to-real » tactile pour les tâches riches en contacts. Les méthodes existantes se concentrent principalement sur les capteurs basés sur la vision et mettent l'accent sur la qualité du rendu d'image, tout en fournissant des modèles de force et de cisaillement excessivement simplistes. Par conséquent, ces modèles présentent un écart important entre la simulation et la réalité pour de nombreuses tâches dextères. Nous présentons ici HydroShear, un simulateur tactile hydroélastique non holonome qui fait progresser l'état de l'art en modélisant : a) les transitions d'adhérence-glissement, b) l'accumulation de force et de cisaillement dépendante du chemin, et c) les interactions complètes SE(3) entre l'objet et le capteur. HydroShear étend les modèles de contact hydroélastiques en utilisant des fonctions de distance signée (SDF) pour suivre les déplacements des points en surface d'un pénétrateur lors de l'interaction physique avec la membrane du capteur. Notre approche génère des champs de force physiquement plausibles et efficaces sur le plan computationnel à partir de géométries étanches arbitraires, tout en restant agnostique au moteur physique sous-jacent. Dans des expériences avec des GelSight Minis, HydroShear reproduit le cisaillement tactile réel de manière plus fidèle que les méthodes existantes. Cette fidélité permet un transfert « sim-to-real » sans coup d'apprentissage par renforcement de politiques pour quatre tâches : l'insertion de chevilles, le rangement dans un bac, le rangement de livres pour l'insertion et le tirage de tiroirs pour le contrôle fin de la pince sous glissement. Notre méthode atteint un taux de réussite moyen de 93 %, surpassant les politiques entraînées sur des images tactiles (34 %) et les autres méthodes de simulation du cisaillement (58 %-61 %).

English

In this paper, we address the problem of tactile sim-to-real policy transfer for contact-rich tasks. Existing methods primarily focus on vision-based sensors and emphasize image rendering quality while providing overly simplistic models of force and shear. Consequently, these models exhibit a large sim-to-real gap for many dexterous tasks. Here, we present HydroShear, a non-holonomic hydroelastic tactile simulator that advances the state-of-the-art by modeling: a) stick-slip transitions, b) path-dependent force and shear build up, and c) full SE(3) object-sensor interactions. HydroShear extends hydroelastic contact models using Signed Distance Functions (SDFs) to track the displacements of the on-surface points of an indenter during physical interaction with the sensor membrane. Our approach generates physics-based, computationally efficient force fields from arbitrary watertight geometries while remaining agnostic to the underlying physics engine. In experiments with GelSight Minis, HydroShear more faithfully reproduces real tactile shear compared to existing methods. This fidelity enables zero-shot sim-to-real transfer of reinforcement learning policies across four tasks: peg insertion, bin packing, book shelving for insertion, and drawer pulling for fine gripper control under slip. Our method achieves a 93% average success rate, outperforming policies trained on tactile images (34%) and alternative shear simulation methods (58%-61%).