HydroShear: Simulação de Cisalhamento Hidroelástica para Aprendizagem por Reforço Sim-to-Real Tátil
HydroShear: Hydroelastic Shear Simulation for Tactile Sim-to-Real Reinforcement Learning
February 28, 2026
Autores: An Dang, Jayjun Lee, Mustafa Mukadam, X. Alice Wu, Bernadette Bucher, Manikantan Nambi, Nima Fazeli
cs.AI
Resumo
Neste artigo, abordamos o problema da transferência de políticas táteis do simulador para o mundo real (sim-to-real) para tarefas ricas em contacto. Os métodos existentes concentram-se principalmente em sensores baseados em visão e enfatizam a qualidade de renderização de imagens, fornecendo, contudo, modelos excessivamente simplificados de força e cisalhamento. Consequentemente, estes modelos exibem uma grande lacuna sim-to-real para muitas tarefas que requerem destreza. Apresentamos aqui o HydroShear, um simulador tátil hidroelástico não-holonómico que avança o estado da arte ao modelar: a) transições de aderência-deslizamento (stick-slip), b) acumulação de força e cisalhamento dependente do percurso, e c) interações completas SE(3) entre o objeto e o sensor. O HydroShear estende os modelos de contacto hidroelásticos utilizando Funções de Distância com Sinal (SDFs) para rastrear os deslocamentos dos pontos na superfície de um indentador durante a interação física com a membrana do sensor. A nossa abordagem gera campos de força baseados na física e computacionalmente eficientes a partir de geometrias estanques arbitrárias, mantendo-se agnóstica em relação ao motor de física subjacente. Em experiências com sensores GelSight Mini, o HydroShear reproduz o cisalhamento tátil real de forma mais fidedigna do que os métodos existentes. Esta fidelidade permite a transferência sim-to-real de políticas de aprendizagem por reforço sem necessidade de ajuste (zero-shot) em quatro tarefas: inserção de pino, empacotamento em caixas, arrumação de livros para inserção e abertura de gavetas para controlo fino da garra sob deslizamento. O nosso método atinge uma taxa média de sucesso de 93%, superando políticas treinadas em imagens táteis (34%) e métodos alternativos de simulação de cisalhamento (58%-61%).
English
In this paper, we address the problem of tactile sim-to-real policy transfer for contact-rich tasks. Existing methods primarily focus on vision-based sensors and emphasize image rendering quality while providing overly simplistic models of force and shear. Consequently, these models exhibit a large sim-to-real gap for many dexterous tasks. Here, we present HydroShear, a non-holonomic hydroelastic tactile simulator that advances the state-of-the-art by modeling: a) stick-slip transitions, b) path-dependent force and shear build up, and c) full SE(3) object-sensor interactions. HydroShear extends hydroelastic contact models using Signed Distance Functions (SDFs) to track the displacements of the on-surface points of an indenter during physical interaction with the sensor membrane. Our approach generates physics-based, computationally efficient force fields from arbitrary watertight geometries while remaining agnostic to the underlying physics engine. In experiments with GelSight Minis, HydroShear more faithfully reproduces real tactile shear compared to existing methods. This fidelity enables zero-shot sim-to-real transfer of reinforcement learning policies across four tasks: peg insertion, bin packing, book shelving for insertion, and drawer pulling for fine gripper control under slip. Our method achieves a 93% average success rate, outperforming policies trained on tactile images (34%) and alternative shear simulation methods (58%-61%).