HydroShear: 촉각 시뮬레이션-현실 강화학습을 위한 수탄성 전단 시뮬레이션

HydroShear: Hydroelastic Shear Simulation for Tactile Sim-to-Real Reinforcement Learning

February 28, 2026

저자: An Dang, Jayjun Lee, Mustafa Mukadam, X. Alice Wu, Bernadette Bucher, Manikantan Nambi, Nima Fazeli

cs.AI

초록

본 논문에서는 접촉이 빈번한 작업을 위한 촉각 시뮬레이션-현실 정책 전달 문제를 다룹니다. 기존 방법은 주로 시각 기반 센서에 초점을 맞추고 이미지 렌더링 품질을 강조하는 반면, 힘과 전단력에 대한 지나치게 단순화된 모델을 제공합니다. 결과적으로 이러한 모델은 많은 정밀 작업에서 큰 시뮬레이션-현실 간극을 보입니다. 본 연구에서는 비홀로노믹 하이드로엘라스틱 촉각 시뮬레이터인 HydroShear를 제안하며, 이는 최신 기술을 발전시켜 다음을 모델링합니다: a) 점착-미끄럼 전환, b) 경로 의존적 힘 및 전단력 축적, c) 완전 SE(3) 객체-센터 상호작용. HydroShear는 Signed Distance Functions(SDF)를 사용한 하이드로엘라스틱 접촉 모델을 확장하여 센서 막과의 물리적 상호작용 동안 압입기 표면 점들의 변위를 추적합니다. 우리의 접근 방식은 기본 물리 엔진에 구애받지 않으면서 임의의 수밀 형상에서 물리 기반의 계산적으로 효율적인 힘장을 생성합니다. GelSight Mini를 사용한 실험에서 HydroShear는 기존 방법에 비해 실제 촉각 전단력을 더 충실하게 재현합니다. 이러한 정밀도는 강화 학습 정책의 제로샷 시뮬레이션-현실 전달을 네 가지 작업(핍 삽입, 빈 패킹, 책 꽂기를 위한 삽입, 미끄럼 하의 정밀 그리퍼 제어를 위한 서랍 당기기)에 걸쳐 가능하게 합니다. 우리의 방법은 93%의 평균 성공률을 달성하여 촉각 이미지(34%) 및 대체 전단력 시뮬레이션 방법(58%-61%)으로 학습된 정책을 능가합니다.

English

In this paper, we address the problem of tactile sim-to-real policy transfer for contact-rich tasks. Existing methods primarily focus on vision-based sensors and emphasize image rendering quality while providing overly simplistic models of force and shear. Consequently, these models exhibit a large sim-to-real gap for many dexterous tasks. Here, we present HydroShear, a non-holonomic hydroelastic tactile simulator that advances the state-of-the-art by modeling: a) stick-slip transitions, b) path-dependent force and shear build up, and c) full SE(3) object-sensor interactions. HydroShear extends hydroelastic contact models using Signed Distance Functions (SDFs) to track the displacements of the on-surface points of an indenter during physical interaction with the sensor membrane. Our approach generates physics-based, computationally efficient force fields from arbitrary watertight geometries while remaining agnostic to the underlying physics engine. In experiments with GelSight Minis, HydroShear more faithfully reproduces real tactile shear compared to existing methods. This fidelity enables zero-shot sim-to-real transfer of reinforcement learning policies across four tasks: peg insertion, bin packing, book shelving for insertion, and drawer pulling for fine gripper control under slip. Our method achieves a 93% average success rate, outperforming policies trained on tactile images (34%) and alternative shear simulation methods (58%-61%).