HydroShear: Гидроупругое моделирование сдвига для тактильного обучения с подкреплением от симуляции к реальности
HydroShear: Hydroelastic Shear Simulation for Tactile Sim-to-Real Reinforcement Learning
February 28, 2026
Авторы: An Dang, Jayjun Lee, Mustafa Mukadam, X. Alice Wu, Bernadette Bucher, Manikantan Nambi, Nima Fazeli
cs.AI
Аннотация
В данной работе рассматривается проблема тактильного переноса политик из симуляции в реальность для задач, связанных с интенсивным контактом. Существующие методы в основном ориентированы на сенсоры на основе зрения и делают акцент на качестве рендеринга изображений, предлагая при этом излишне упрощенные модели силы и сдвига. Как следствие, эти модели демонстрируют значительный разрыв между симуляцией и реальностью для многих задач, требующих точных манипуляций. Мы представляем HydroShear — неголономный гидроупругий тактильный симулятор, который продвигает состояние дел в области, моделируя: а) переходы между сцеплением и проскальзыванием, б) зависящее от траектории нарастание силы и сдвига и в) полные SE(3) взаимодействия между объектом и сенсором. HydroShear расширяет гидроупругие модели контакта, используя функции знакового расстояния (SDF) для отслеживания перемещений точек на поверхности индентора во время физического взаимодействия с мембраной сенсора. Наш подход генерирует физически обоснованные, вычислительно эффективные силовые поля для произвольных водонепроницаемых геометрий, оставаясь независимым от базового физического движка. В экспериментах с датчиками GelSight Mini HydroShear более точно воспроизводит реальный тактильный сдвиг по сравнению с существующими методами. Эта точность позволяет осуществлять бесшаговый перенос политик обучения с подкреплением из симуляции в реальность для четырех задач: вставки штыря, упаковки в контейнер, размещения книги на полке и выдвижения ящика для точного управления захватом при проскальзывании. Наш метод достигает среднего показателя успешности 93%, превосходя политики, обученные на тактильных изображениях (34%), и альтернативные методы симуляции сдвига (58%-61%).
English
In this paper, we address the problem of tactile sim-to-real policy transfer for contact-rich tasks. Existing methods primarily focus on vision-based sensors and emphasize image rendering quality while providing overly simplistic models of force and shear. Consequently, these models exhibit a large sim-to-real gap for many dexterous tasks. Here, we present HydroShear, a non-holonomic hydroelastic tactile simulator that advances the state-of-the-art by modeling: a) stick-slip transitions, b) path-dependent force and shear build up, and c) full SE(3) object-sensor interactions. HydroShear extends hydroelastic contact models using Signed Distance Functions (SDFs) to track the displacements of the on-surface points of an indenter during physical interaction with the sensor membrane. Our approach generates physics-based, computationally efficient force fields from arbitrary watertight geometries while remaining agnostic to the underlying physics engine. In experiments with GelSight Minis, HydroShear more faithfully reproduces real tactile shear compared to existing methods. This fidelity enables zero-shot sim-to-real transfer of reinforcement learning policies across four tasks: peg insertion, bin packing, book shelving for insertion, and drawer pulling for fine gripper control under slip. Our method achieves a 93% average success rate, outperforming policies trained on tactile images (34%) and alternative shear simulation methods (58%-61%).