Apprendimento del controllo dell'end-effector umanoide per la loco-manipolazione visiva a vocabolario aperto
Learning Humanoid End-Effector Control for Open-Vocabulary Visual Loco-Manipulation
February 18, 2026
Autori: Runpei Dong, Ziyan Li, Xialin He, Saurabh Gupta
cs.AI
Abstract
La loco-manipolazione visiva di oggetti arbitrari in ambienti non controllati con robot umanoidi richiede un controllo accurato dell'end-effector (EE) e una comprensione generalizzabile della scena tramite input visivi (ad esempio, immagini RGB-D). Gli approcci esistenti si basano sull'apprendimento per imitazione nel mondo reale e mostrano una generalizzazione limitata a causa della difficoltà nella raccolta di dataset di addestramento su larga scala. Questo articolo presenta un nuovo paradigma, HERO, per la loco-manipolazione di oggetti con robot umanoidi che combina la forte capacità di generalizzazione e la comprensione open-vocabulary di grandi modelli visivi con le prestazioni di controllo robuste derivanti dall'addestramento in simulazione. Raggiungiamo questo obiettivo progettando una politica di tracking dell'EE accurata e consapevole dei residui. Questa politica di tracking dell'EE combina la robotica classica con l'apprendimento automatico. Utilizza a) la cinematica inversa per convertire i target residui dell'end-effector in traiettorie di riferimento, b) un modello diretto neurale appreso per una cinematica diretta accurata, c) una regolazione degli obiettivi e d) una ripianificazione. Insieme, queste innovazioni ci aiutano a ridurre l'errore di tracking dell'end-effector di 3,2 volte. Utilizziamo questo tracker accurato dell'end-effector per costruire un sistema modulare per la loco-manipolazione, in cui impieghiamo grandi modelli visivi open-vocabulary per una forte generalizzazione visiva. Il nostro sistema è in grado di operare in vari ambienti del mondo reale, dagli uffici alle caffetterie, dove il robot riesce a manipolare in modo affidabile vari oggetti di uso quotidiano (ad esempio, tazze, mele, giocattoli) su superfici con altezze comprese tra 43 cm e 92 cm. Test sistematici modulari ed end-to-end in simulazione e nel mondo reale dimostrano l'efficacia della nostra proposta progettuale. Riteniamo che i progressi presentati in questo articolo possano aprire nuove strade per addestrare robot umanoidi a interagire con oggetti quotidiani.
English
Visual loco-manipulation of arbitrary objects in the wild with humanoid robots requires accurate end-effector (EE) control and a generalizable understanding of the scene via visual inputs (e.g., RGB-D images). Existing approaches are based on real-world imitation learning and exhibit limited generalization due to the difficulty in collecting large-scale training datasets. This paper presents a new paradigm, HERO, for object loco-manipulation with humanoid robots that combines the strong generalization and open-vocabulary understanding of large vision models with strong control performance from simulated training. We achieve this by designing an accurate residual-aware EE tracking policy. This EE tracking policy combines classical robotics with machine learning. It uses a) inverse kinematics to convert residual end-effector targets into reference trajectories, b) a learned neural forward model for accurate forward kinematics, c) goal adjustment, and d) replanning. Together, these innovations help us cut down the end-effector tracking error by 3.2x. We use this accurate end-effector tracker to build a modular system for loco-manipulation, where we use open-vocabulary large vision models for strong visual generalization. Our system is able to operate in diverse real-world environments, from offices to coffee shops, where the robot is able to reliably manipulate various everyday objects (e.g., mugs, apples, toys) on surfaces ranging from 43cm to 92cm in height. Systematic modular and end-to-end tests in simulation and the real world demonstrate the effectiveness of our proposed design. We believe the advances in this paper can open up new ways of training humanoid robots to interact with daily objects.