TacForcing: 実行時触覚フィードバックによるストリーミング動作生成

要旨

接触リッチな操作は、行動ホライズン内で大幅に変化し得る接触状態への適応を必要とする。しかし、チャンクベースの視覚言語行動（VLA）モデルは、実行前に収集された観測から完全な行動チャンクを予測するため、実行中に触覚条件付けが陳腐化する。既存の触覚リアクティブなアプローチは通常、別個の高頻度コントローラに依存し、アーキテクチャと学習の複雑さを増大させる。本論文では、実行時の触覚フィードバックを効果的に組み込むストリーミング行動生成フレームワークTacForcingを提案する。TacForcingは、別個のリアクティブコントローラを採用する代わりに、標準的な行動エキスパートをストリーミング行動エキスパートに置き換え、実行中に取得される変化する触覚観測を条件として行動を生成する。さらにTacForcingは、実行考慮型触覚注意（EATA）を導入し、触覚条件付けを実行間近の行動に限定することで、触覚取得と行動実行の間の時間的ミスマッチを低減する。シミュレーション環境における6つのUniVTACタスクと実世界の3つの接触リッチな操作タスクにおいて、TacForcingはそれぞれ65%と69%の平均成功率を達成し、両設定で強力なベースラインを上回る。

English

Contact-rich manipulation requires adapting to contact states that can evolve substantially within an action horizon. However, chunk-based vision-language-action models predict complete action chunks from observations collected before execution, leaving tactile conditioning stale during execution. Existing tactile-reactive approaches typically rely on separate high-frequency controllers, which increase both architectural and training complexity. In this paper, we introduce TacForcing, a streaming action-generation framework that effectively incorporates execution-time tactile feedback. Instead of employing a separate reactive controller, TacForcing replaces the standard action expert with a streaming action expert to generate actions conditioned on the evolving tactile observations acquired during execution. TacForcing also introduces Execution-Aware Tactile Attention (EATA), which restricts tactile conditioning to actions nearing execution, thereby reducing the temporal mismatch between tactile acquisition and action execution. Across six simulated UniVTAC tasks and three real-world contact-rich manipulation tasks, TacForcing achieves average success rates of 65% and 69%, respectively, outperforming strong baselines in both settings.