SoftVTBench: 変形可能物体操作のための変形を考慮した視覚触覚データセットとベンチマーク

要旨

物理的相互作用の品質は変形物体操作の中核であるが、ほとんどのベンチマークはタスク成功率のみを評価している。ポリシーがタスクを完了しても、滑りを許容したり過度の圧縮を引き起こしたりする場合がある。主なボトルネックは、ポリシーが観測可能な接触観測値と、タスク全体にわたる独立した物理的グラウンドトゥルースを組み合わせた視覚-触覚データセットが存在しないことである。我々は、物理的相互作用を考慮した変形物体操作のための視覚-触覚データセットであるSoftVTBenchを紹介する。これには、4,000件のエキスパートデモンストレーションと、体積を有する変形物体および視覚的に一致する剛体ツインを含む50以上のアセットが含まれる。各エピソードでは、20 Hzにおいて、多視点RGB、二指触覚RGBとマーカー運動、プロプリオセプション、言語情報、二値および連続的なグリッパー動作を同期させる。さらに、評価者専用の有限要素法(FEM)状態も同期する。このデータセットに基づき、我々は固定の物体固有キャリブレーションを用いて変形考慮成功率(DSR)を定義するクローズドループベンチマークを構築する。DSRは、タスクを完了し、かつピーク正規化変形を許容範囲内に収めた場合のみ、ロールアウトを成功とみなす。Diffusion Policy、π_{0.5}、FastWAMにわたって、分布内の12構成すべてにおいて、変形許容範囲を逸脱する成功ロールアウトが存在し、各構成の成功の0.7～24%を占めた。分布シフトの下では、視覚-触覚バリアントは、6つのポリシー・スイート比較すべてにおいてタスク成功率が高く、5つにおいてDSRが高かった。一方、分布内での利点は混在していた。これらの結果は、触覚を利用可能にすること自体では効果的なマルチモーダル融合が保証されないことを示している。したがってSoftVTBenchは、ポリシーが成功するかどうかだけでなく、変形物体とどのように物理的に相互作用するか、そして触覚がその相互作用をいつ改善するかを研究するための共通の視覚-触覚リソースを提供する。

English

Physical interaction quality is central to deformable-object manipulation, yet most benchmarks evaluate task success alone. A policy may complete the task while allowing slip or causing excessive compression. A primary bottleneck is the absence of visuo-tactile datasets that pair policy-visible contact observations with independent physical ground truth over complete tasks. We introduce SoftVTBench, a visuo-tactile dataset for physical-interaction-aware deformable-object manipulation. It contains 4,000 expert demonstrations and more than 50 assets, including volumetric deformable objects and visually matched rigid twins. At 20 Hz, each episode synchronizes multi-view RGB, dual-finger tactile RGB and marker motion, proprioception, language, and binary and continuous gripper actions, alongside evaluator-only finite-element (FEM) states. Building upon this dataset, we establish a closed-loop benchmark that uses fixed object-specific calibration to define the Deformation-aware Success Rate (DSR), which counts a rollout as successful only when it completes the task and keeps peak normalized deformation within tolerance. Across Diffusion Policy, π_{0.5}, and FastWAM, all 12 in-distribution configurations contain successful rollouts that violate the deformation tolerance, accounting for 0.7--24% of each configuration's successes. Under distribution shift, visuo-tactile variants achieve higher task success in all six policy--suite comparisons and higher DSR in five, whereas their in-distribution benefits are mixed. These results show that making touch available does not by itself ensure effective multimodal fusion. SoftVTBench therefore provides a common visuo-tactile resource for studying not only whether a policy succeeds, but how it physically interacts with deformable objects and when touch improves that interaction.