HydroShear: 触覚シミュレーションto現実強化学習のための水弾性せん断シミュレーション

HydroShear: Hydroelastic Shear Simulation for Tactile Sim-to-Real Reinforcement Learning

February 28, 2026

著者: An Dang, Jayjun Lee, Mustafa Mukadam, X. Alice Wu, Bernadette Bucher, Manikantan Nambi, Nima Fazeli

cs.AI

要旨

本論文では，接触を伴うタスクに対する触覚シミュレーションtoリアル（sim-to-real）政策転移の問題に取り組む．既存手法は主に視覚ベースのセンサに焦点を当て，画像のレンダリング品質を重視する一方で，力及びせん断力のモデルを過度に単純化している．その結果，これらのモデルは多くの巧緻性タスクにおいて，大きなsim-to-realギャップを示す．本研究では，非完備なハイドロエラスティック触覚シミュレータであるHydroShearを提案する．本シミュレータは，a) 滑り‐静止遷移，b) 経路依存的な力及びせん断力の蓄積，c) 完全なSE(3)におけるオブジェクト‐センサ相互作用をモデル化することで，最新技術を進歩させる．HydroShearは，符号付き距離関数（SDF）を用いたハイドロエラスティック接触モデルを拡張し，センサ膜との物理的相互作用中の圧子表面点の変位を追跡する．本手法は，任意の水密形状から物理ベースで計算効率の良い力場を生成し，基盤となる物理エンジンに依存しない．GelSight Miniを用いた実験において，HydroShearは既存手法と比較して，実触覚のせん断力をより忠実に再現した．この忠実度により，強化学習政策のゼロショットsim-to-real転移が，4つのタスク（ペグ挿入，ビンパッキング，本の棚上げ挿入，把持子の滑り下での微細制御のための引き出し操作）で可能となった．本手法は93%の平均成功率を達成し，触覚画像で訓練した政策（34%）や他のせん断力シミュレーション手法（58%-61%）を上回った．

English

In this paper, we address the problem of tactile sim-to-real policy transfer for contact-rich tasks. Existing methods primarily focus on vision-based sensors and emphasize image rendering quality while providing overly simplistic models of force and shear. Consequently, these models exhibit a large sim-to-real gap for many dexterous tasks. Here, we present HydroShear, a non-holonomic hydroelastic tactile simulator that advances the state-of-the-art by modeling: a) stick-slip transitions, b) path-dependent force and shear build up, and c) full SE(3) object-sensor interactions. HydroShear extends hydroelastic contact models using Signed Distance Functions (SDFs) to track the displacements of the on-surface points of an indenter during physical interaction with the sensor membrane. Our approach generates physics-based, computationally efficient force fields from arbitrary watertight geometries while remaining agnostic to the underlying physics engine. In experiments with GelSight Minis, HydroShear more faithfully reproduces real tactile shear compared to existing methods. This fidelity enables zero-shot sim-to-real transfer of reinforcement learning policies across four tasks: peg insertion, bin packing, book shelving for insertion, and drawer pulling for fine gripper control under slip. Our method achieves a 93% average success rate, outperforming policies trained on tactile images (34%) and alternative shear simulation methods (58%-61%).