OmniTacTune: Policy-agnostisches Realwelt-RL zur taktilen Restanpassung visueller Policies

Zusammenfassung

Visuelle Policies, die aus menschlichen Videos, Teleoperation und Roboterdemonstrationen gelernt werden, bieten skalierbare Bewegungsprioren, scheitern jedoch oft bei kontaktreicher Manipulation, bei der der Erfolg maßgeblich von lokaler Kraft und Kontaktgeometrie abhängt. Taktile Sensorik liefert diese komplementären Signale, doch taktile Daten bleiben teuer in der Erfassung und schwer über Sensoren, Roboter und Aufgaben zu generalisieren. Wir stellen OmniTacTune vor, eine Policy-agnostische RL-Pipeline für reale Anwendungen, die taktile Rückmeldungen durch Residualkorrektur an vortrainierte visuelle Policies anpasst. OmniTacTune verwendet ein zweistufiges Design: Es initialisiert zunächst das taktilbewusste Lernen aus autonomen Basis-Policy-Rollouts und lernt dann eine leichtgewichtige taktile Residual-Policy durch Online-Interaktion. Umfangreiche Experimente zeigen, dass OmniTacTune über verschiedene kontaktreiche Aufgaben, visuelle Basis-Policies und taktile Repräsentationen generalisiert. Bei vier realen kontaktreichen Aufgaben verbessert es die visuellen Basis-Policies von 5-40% Erfolgsrate auf 85-100% innerhalb von 40-80 Minuten, was einen effizienten Weg zur Anpassung taktiler Rückmeldungen an skalierbare visuelle Roboter-Policies aufzeigt. Projektseite: https://colinyu1.github.io/omnitactune-site/

English

Visual policies learned from human videos, teleoperation, and robot demonstrations offer scalable motion priors, but often fail in contact-rich manipulation, where success significantly depends on local force and contact geometry. Tactile sensing provides these complementary signals, yet tactile data remain costly to collect and hard to generalize across sensors, robots, and tasks. We introduce OmniTacTune, a policy-agnostic real-world RL pipeline that adapts tactile feedback to pretrained visual policies through residual correction. OmniTacTune uses a two-stage design: it first bootstraps tactile-aware learning from autonomous base-policy rollouts, then learns a lightweight tactile residual policy through online interaction. Extensive experiments show that OmniTacTune generalizes across diverse contact-rich tasks, visual base policies, and tactile representations. Across four real-world contact-rich tasks, it improves visual base policies from 5-40% success to 85-100% within 40-80 minutes, demonstrating an efficient path for adapting tactile feedback to scalable visual robot policies. Project page: https://colinyu1.github.io/omnitactune-site/