SoftVTBench: 변형체 조작을 위한 변형 인지 시각-촉각 데이터셋 및 벤치마크

초록

물리적 상호작용 품질은 변형 가능한 객체 조작의 핵심이지만, 대부분의 벤치마크는 과제 성공만을 평가한다. 정책이 미끄러짐을 허용하거나 과도한 압축을 유발하면서도 과제를 완료할 수 있다. 주요 병목은 정책이 관찰할 수 있는 접촉 관측과 독립적인 물리적 실제값을 전체 과제에 걸쳐 짝지은 시각-촉각 데이터셋이 부재하다는 점이다. 우리는 물리적 상호작용 인지 변형 객체 조작을 위한 시각-촉각 데이터셋인 SoftVTBench를 소개한다. 이 데이터셋은 4,000개의 전문가 시연과 50개 이상의 에셋을 포함하며, 여기에는 체적 변형 객체와 시각적으로 일치하는 강체 쌍이 포함된다. 20Hz에서 각 에피소드는 다중 시점 RGB, 이중 손가락 촉각 RGB 및 마커 모션, 고유수용감각, 언어, 이진 및 연속 그리퍼 동작을 동기화하며, 평가자 전용 유한요소(FEM) 상태도 함께 제공한다. 이 데이터셋을 기반으로, 우리는 고정된 객체별 캘리브레이션을 사용하여 변형 인지 성공률(DSR)을 정의하는 폐루프 벤치마크를 구축한다. DSR은 과제를 완료하고 최대 정규화 변형이 허용 오차 내에 유지될 때만 롤아웃을 성공으로 간주한다. Diffusion Policy, π₀.₅, FastWAM 전반에 걸쳐, 분포 내 12개 구성 모두에서 변형 허용 오차를 위반하는 성공적 롤아웃이 존재하며, 이는 각 구성의 성공 중 0.7~24%를 차지한다. 분포 변화 하에서, 시각-촉각 변형은 6개의 정책-스위트 비교 모두에서 더 높은 과제 성공을 달성하고 5개에서 더 높은 DSR을 달성한 반면, 분포 내에서의 이점은 혼재되었다. 이러한 결과는 촉각을 제공하는 것만으로는 효과적인 다중 양식 융합이 보장되지 않음을 보여준다. 따라서 SoftVTBench는 정책의 성공 여부뿐만 아니라 변형 객체와의 물리적 상호작용 방식과 촉각이 그러한 상호작용을 개선하는 시점을 연구하기 위한 공통의 시각-촉각 자원을 제공한다.

English

Physical interaction quality is central to deformable-object manipulation, yet most benchmarks evaluate task success alone. A policy may complete the task while allowing slip or causing excessive compression. A primary bottleneck is the absence of visuo-tactile datasets that pair policy-visible contact observations with independent physical ground truth over complete tasks. We introduce SoftVTBench, a visuo-tactile dataset for physical-interaction-aware deformable-object manipulation. It contains 4,000 expert demonstrations and more than 50 assets, including volumetric deformable objects and visually matched rigid twins. At 20 Hz, each episode synchronizes multi-view RGB, dual-finger tactile RGB and marker motion, proprioception, language, and binary and continuous gripper actions, alongside evaluator-only finite-element (FEM) states. Building upon this dataset, we establish a closed-loop benchmark that uses fixed object-specific calibration to define the Deformation-aware Success Rate (DSR), which counts a rollout as successful only when it completes the task and keeps peak normalized deformation within tolerance. Across Diffusion Policy, π_{0.5}, and FastWAM, all 12 in-distribution configurations contain successful rollouts that violate the deformation tolerance, accounting for 0.7--24% of each configuration's successes. Under distribution shift, visuo-tactile variants achieve higher task success in all six policy--suite comparisons and higher DSR in five, whereas their in-distribution benefits are mixed. These results show that making touch available does not by itself ensure effective multimodal fusion. SoftVTBench therefore provides a common visuo-tactile resource for studying not only whether a policy succeeds, but how it physically interacts with deformable objects and when touch improves that interaction.