HydroShear: Simulación Hidroelástica de Cizalladura para el Aprendizaje por Refuerzo Táctil de Simulación a Realidad

HydroShear: Hydroelastic Shear Simulation for Tactile Sim-to-Real Reinforcement Learning

February 28, 2026

Autores: An Dang, Jayjun Lee, Mustafa Mukadam, X. Alice Wu, Bernadette Bucher, Manikantan Nambi, Nima Fazeli

cs.AI

Resumen

En este artículo, abordamos el problema de la transferencia *sim-to-real* de políticas táctiles para tareas que requieren un contacto rico. Los métodos existentes se centran principalmente en sensores basados en visión y enfatizan la calidad del renderizado de imágenes, mientras que proporcionan modelos de fuerza y cizalladura excesivamente simplificados. En consecuencia, estos modelos presentan una gran brecha *sim-to-real* para muchas tareas diestras. Aquí presentamos HydroShear, un simulador táctil hidroelástico no holonómico que avanza el estado del arte modelando: a) transiciones de adherencia-deslizamiento (*stick-slip*), b) la acumulación de fuerza y cizalladura dependiente de la trayectoria, y c) interacciones completas SE(3) entre el objeto y el sensor. HydroShear extiende los modelos de contacto hidroelásticos utilizando Funciones de Distancia con Signo (FDS) para rastrear los desplazamientos de los puntos en la superficie de un indentador durante la interacción física con la membrana del sensor. Nuestro enfoque genera campos de fuerza basados en la física y computacionalmente eficientes a partir de geometrías estancas arbitrarias, manteniéndose independiente del motor de física subyacente. En experimentos con sensores GelSight Mini, HydroShear reproduce la cizalladura táctil real de manera más fiel en comparación con los métodos existentes. Esta fidelidad permite la transferencia *sim-to-real* de políticas de aprendizaje por refuerzo sin ajuste específico (*zero-shot*) en cuatro tareas: inserción de clavijas, empaquetado en contenedores, colocación de libros en estanterías para inserción y apertura de cajones para un control fino de la pinza bajo deslizamiento. Nuestro método alcanza una tasa de éxito promedio del 93%, superando a las políticas entrenadas con imágenes táctiles (34%) y a métodos alternativos de simulación de cizalladura (58%-61%).

English

In this paper, we address the problem of tactile sim-to-real policy transfer for contact-rich tasks. Existing methods primarily focus on vision-based sensors and emphasize image rendering quality while providing overly simplistic models of force and shear. Consequently, these models exhibit a large sim-to-real gap for many dexterous tasks. Here, we present HydroShear, a non-holonomic hydroelastic tactile simulator that advances the state-of-the-art by modeling: a) stick-slip transitions, b) path-dependent force and shear build up, and c) full SE(3) object-sensor interactions. HydroShear extends hydroelastic contact models using Signed Distance Functions (SDFs) to track the displacements of the on-surface points of an indenter during physical interaction with the sensor membrane. Our approach generates physics-based, computationally efficient force fields from arbitrary watertight geometries while remaining agnostic to the underlying physics engine. In experiments with GelSight Minis, HydroShear more faithfully reproduces real tactile shear compared to existing methods. This fidelity enables zero-shot sim-to-real transfer of reinforcement learning policies across four tasks: peg insertion, bin packing, book shelving for insertion, and drawer pulling for fine gripper control under slip. Our method achieves a 93% average success rate, outperforming policies trained on tactile images (34%) and alternative shear simulation methods (58%-61%).