OmniTacTune: RL no Mundo Real Agnóstico em Relação à Política para Adaptação Residual Tátil de Políticas Visuais

Resumo

Políticas visuais aprendidas a partir de vídeos humanos, teleoperação e demonstrações robóticas oferecem prioris de movimento escaláveis, mas frequentemente falham em manipulações com contato intenso, onde o sucesso depende significativamente das forças locais e da geometria de contato. A percepção tátil fornece esses sinais complementares, mas os dados táteis continuam caros de coletar e difíceis de generalizar entre sensores, robôs e tarefas. Apresentamos o OmniTacTune, um pipeline de aprendizado por reforço no mundo real, independente de política, que adapta o feedback tátil a políticas visuais pré-treinadas por meio de correção residual. O OmniTacTune utiliza um design em dois estágios: primeiro, ele inicializa o aprendizado sensível ao tátil a partir de rolagens autônomas da política base; em seguida, aprende uma política residual tátil leve por meio de interação online. Experimentos extensos mostram que o OmniTacTune generaliza em diversas tarefas com contato intenso, políticas visuais base e representações táteis. Em quatro tarefas reais com contato intenso, ele melhora as políticas visuais base de 5-40% de sucesso para 85-100% em 40-80 minutos, demonstrando um caminho eficiente para adaptar o feedback tátil a políticas visuais robóticas escaláveis. Página do projeto: https://colinyu1.github.io/omnitactune-site/

English

Visual policies learned from human videos, teleoperation, and robot demonstrations offer scalable motion priors, but often fail in contact-rich manipulation, where success significantly depends on local force and contact geometry. Tactile sensing provides these complementary signals, yet tactile data remain costly to collect and hard to generalize across sensors, robots, and tasks. We introduce OmniTacTune, a policy-agnostic real-world RL pipeline that adapts tactile feedback to pretrained visual policies through residual correction. OmniTacTune uses a two-stage design: it first bootstraps tactile-aware learning from autonomous base-policy rollouts, then learns a lightweight tactile residual policy through online interaction. Extensive experiments show that OmniTacTune generalizes across diverse contact-rich tasks, visual base policies, and tactile representations. Across four real-world contact-rich tasks, it improves visual base policies from 5-40% success to 85-100% within 40-80 minutes, demonstrating an efficient path for adapting tactile feedback to scalable visual robot policies. Project page: https://colinyu1.github.io/omnitactune-site/