TacForcing: 실행 시점 촉각 피드백을 활용한 스트리밍 행동 생성

초록

접촉이 많은 조작은 행동 지평 안에서 크게 변화할 수 있는 접촉 상태에 적응해야 한다. 그러나 청크 기반 비전-언어-행동 모델은 실행 전에 수집된 관측만으로 전체 행동 청크를 예측하므로, 실행 중에는 촉각 조건화가 낡은 상태로 남게 된다. 기존의 촉각 반응형 접근법은 일반적으로 별도의 고주파 제어기에 의존하며, 이는 구조적 및 훈련 복잡성을 증가시킨다. 본 논문에서는 실행 시점의 촉각 피드백을 효과적으로 통합하는 스트리밍 행동 생성 프레임워크인 TacForcing을 제안한다. TacForcing은 별도의 반응형 제어기를 사용하는 대신, 표준 행동 전문가를 스트리밍 행동 전문가로 대체하여 실행 중 획득되는 변화하는 촉각 관측에 조건화된 행동을 생성한다. 또한 TacForcing은 실행 인지 촉각 어텐션(EATA)을 도입하여 촉각 조건화를 실행에 가까운 행동으로 제한함으로써 촉각 획득과 행동 실행 사이의 시간적 불일치를 줄인다. TacForcing은 6가지 시뮬레이션 UniVTAC 작업과 3가지 실제 접촉이 많은 조작 작업에서 각각 평균 성공률 65%와 69%를 달성하여 두 설정 모두에서 강력한 기준선보다 우수한 성능을 보인다.

English

Contact-rich manipulation requires adapting to contact states that can evolve substantially within an action horizon. However, chunk-based vision-language-action models predict complete action chunks from observations collected before execution, leaving tactile conditioning stale during execution. Existing tactile-reactive approaches typically rely on separate high-frequency controllers, which increase both architectural and training complexity. In this paper, we introduce TacForcing, a streaming action-generation framework that effectively incorporates execution-time tactile feedback. Instead of employing a separate reactive controller, TacForcing replaces the standard action expert with a streaming action expert to generate actions conditioned on the evolving tactile observations acquired during execution. TacForcing also introduces Execution-Aware Tactile Attention (EATA), which restricts tactile conditioning to actions nearing execution, thereby reducing the temporal mismatch between tactile acquisition and action execution. Across six simulated UniVTAC tasks and three real-world contact-rich manipulation tasks, TacForcing achieves average success rates of 65% and 69%, respectively, outperforming strong baselines in both settings.