OmniTacTune: RL en el mundo real independiente de la política para la adaptación residual táctil de políticas visuales

Resumen

Las políticas visuales aprendidas a partir de videos humanos, teleoperación y demostraciones robóticas ofrecen prioridades de movimiento escalables, pero a menudo fallan en la manipulación con contacto intensivo, donde el éxito depende significativamente de la fuerza local y la geometría del contacto. La percepción táctil proporciona estas señales complementarias, sin embargo, los datos táctiles siguen siendo costosos de recolectar y difíciles de generalizar entre sensores, robots y tareas. Presentamos OmniTacTune, un pipeline de RL en el mundo real, agnóstico a la política, que adapta la retroalimentación táctil a políticas visuales preentrenadas mediante corrección residual. OmniTacTune utiliza un diseño de dos etapas: primero inicializa el aprendizaje consciente de la tactilidad a partir de ejecuciones autónomas de la política base, luego aprende una política residual táctil ligera mediante interacción en línea. Experimentos exhaustivos muestran que OmniTacTune se generaliza a través de diversas tareas con contacto intensivo, políticas visuales base y representaciones táctiles. En cuatro tareas reales de contacto intensivo, mejora las políticas visuales base de un 5-40% de éxito a un 85-100% en 40-80 minutos, demostrando una vía eficiente para adaptar la retroalimentación táctil a políticas robóticas visuales escalables. Página del proyecto: https://colinyu1.github.io/omnitactune-site/

English

Visual policies learned from human videos, teleoperation, and robot demonstrations offer scalable motion priors, but often fail in contact-rich manipulation, where success significantly depends on local force and contact geometry. Tactile sensing provides these complementary signals, yet tactile data remain costly to collect and hard to generalize across sensors, robots, and tasks. We introduce OmniTacTune, a policy-agnostic real-world RL pipeline that adapts tactile feedback to pretrained visual policies through residual correction. OmniTacTune uses a two-stage design: it first bootstraps tactile-aware learning from autonomous base-policy rollouts, then learns a lightweight tactile residual policy through online interaction. Extensive experiments show that OmniTacTune generalizes across diverse contact-rich tasks, visual base policies, and tactile representations. Across four real-world contact-rich tasks, it improves visual base policies from 5-40% success to 85-100% within 40-80 minutes, demonstrating an efficient path for adapting tactile feedback to scalable visual robot policies. Project page: https://colinyu1.github.io/omnitactune-site/