OmniTacTune: Policy-Agnostische Real-World RL voor Tactiele Residuele Adaptatie van Visuele Policies

Samenvatting

Visuele beleidsregels geleerd uit menselijke video's, teleoperatie en robotdemonstraties bieden schaalbare bewegingspriors, maar falen vaak in contactrijke manipulatie, waar succes aanzienlijk afhangt van lokale kracht en contactgeometrie. Tactiele waarneming biedt deze complementaire signalen, maar tactiele data blijven duur om te verzamelen en moeilijk te generaliseren over sensoren, robots en taken. We introduceren OmniTacTune, een beleidsagnostische real-world RL-pijplijn die tactiele feedback aanpast aan voorgetrainde visuele beleidsregels via residuele correctie. OmniTacTune gebruikt een tweefasig ontwerp: het bootst eerst tactiel bewust leren op basis van autonome basisbeleidsuitrols, en leert vervolgens een lichtgewicht tactiel residueel beleid via online interactie. Uitgebreide experimenten tonen aan dat OmniTacTune generaliseert over diverse contactrijke taken, visuele basisbeleidsregels en tactiele representaties. Bij vier real-world contactrijke taken verbetert het visuele basisbeleidsregels van 5-40% succes naar 85-100% binnen 40-80 minuten, wat een efficiënt pad demonstreert voor het aanpassen van tactiele feedback aan schaalbare visuele robotbeleidsregels. Projectpagina: https://colinyu1.github.io/omnitactune-site/

English

Visual policies learned from human videos, teleoperation, and robot demonstrations offer scalable motion priors, but often fail in contact-rich manipulation, where success significantly depends on local force and contact geometry. Tactile sensing provides these complementary signals, yet tactile data remain costly to collect and hard to generalize across sensors, robots, and tasks. We introduce OmniTacTune, a policy-agnostic real-world RL pipeline that adapts tactile feedback to pretrained visual policies through residual correction. OmniTacTune uses a two-stage design: it first bootstraps tactile-aware learning from autonomous base-policy rollouts, then learns a lightweight tactile residual policy through online interaction. Extensive experiments show that OmniTacTune generalizes across diverse contact-rich tasks, visual base policies, and tactile representations. Across four real-world contact-rich tasks, it improves visual base policies from 5-40% success to 85-100% within 40-80 minutes, demonstrating an efficient path for adapting tactile feedback to scalable visual robot policies. Project page: https://colinyu1.github.io/omnitactune-site/