OmniTacTune: 方策非依存の実世界強化学習による視覚方策の触覚残差適応

要旨

人間の映像、遠隔操作、ロボットデモンストレーションから学習された視覚ポリシーは、拡張可能な動作の事前分布を提供するが、接触を伴う操作タスクではしばしば失敗する。そのようなタスクでは、成功は局所的な力と接触形状に大きく依存する。触覚センシングはこれらの補完的な信号を提供するが、触覚データの収集は依然としてコストがかかり、センサー、ロボット、タスク間での一般化が困難である。本稿では、事前学習済みの視覚ポリシーに触覚フィードバックを残差補正により適応させる、ポリシー非依存の実世界RLパイプラインであるOmniTacTuneを紹介する。OmniTacTuneは二段階設計を採用しており、まず自律的なベースポリシーのロールアウトから触覚認識学習をブートストラップし、次にオンラインインタラクションを通じて軽量な触覚残差ポリシーを学習する。大規模な実験により、OmniTacTuneが多様な接触を伴うタスク、視覚ベースポリシー、触覚表現にわたって汎化可能であることを示す。4つの実世界の接触を伴うタスクにおいて、視覚ベースポリシーの成功率を5-40%から85-100%に、40-80分以内で改善し、拡張可能な視覚ロボットポリシーへの触覚フィードバック適応の効率的な経路を実証する。プロジェクトページ: https://colinyu1.github.io/omnitactune-site/

English

Visual policies learned from human videos, teleoperation, and robot demonstrations offer scalable motion priors, but often fail in contact-rich manipulation, where success significantly depends on local force and contact geometry. Tactile sensing provides these complementary signals, yet tactile data remain costly to collect and hard to generalize across sensors, robots, and tasks. We introduce OmniTacTune, a policy-agnostic real-world RL pipeline that adapts tactile feedback to pretrained visual policies through residual correction. OmniTacTune uses a two-stage design: it first bootstraps tactile-aware learning from autonomous base-policy rollouts, then learns a lightweight tactile residual policy through online interaction. Extensive experiments show that OmniTacTune generalizes across diverse contact-rich tasks, visual base policies, and tactile representations. Across four real-world contact-rich tasks, it improves visual base policies from 5-40% success to 85-100% within 40-80 minutes, demonstrating an efficient path for adapting tactile feedback to scalable visual robot policies. Project page: https://colinyu1.github.io/omnitactune-site/