Aprendizaje del Control del Efector Final Humanoide para la Locomanipulación Visual de Vocabulario Abierto

Learning Humanoid End-Effector Control for Open-Vocabulary Visual Loco-Manipulation

February 18, 2026

Autores: Runpei Dong, Ziyan Li, Xialin He, Saurabh Gupta

cs.AI

Resumen

La locomoción-manipulación visual de objetos arbitrarios en entornos no controlados con robots humanoides requiere un control preciso del efector final (EE) y una comprensión generalizable de la escena a través de entradas visuales (por ejemplo, imágenes RGB-D). Los enfoques existentes se basan en el aprendizaje por imitación en el mundo real y exhiben una generalización limitada debido a la dificultad de recopilar conjuntos de datos de entrenamiento a gran escala. Este artículo presenta un nuevo paradigma, HERO, para la locomoción-manipulación de objetos con robots humanoides que combina la fuerte generalización y comprensión de vocabulario abierto de los grandes modelos de visión con el sólido rendimiento de control obtenido del entrenamiento en simulación. Lo logramos diseñando una política de seguimiento del EF precisa y consciente del residuo. Esta política de seguimiento del EF combina la robótica clásica con el aprendizaje automático. Utiliza a) la cinemática inversa para convertir los objetivos residuales del efector final en trayectorias de referencia, b) un modelo directo neuronal aprendido para una cinemática directa precisa, c) ajuste de objetivos y d) replanificación. En conjunto, estas innovaciones nos ayudan a reducir el error de seguimiento del efector final en 3.2 veces. Utilizamos este rastreador preciso del efector final para construir un sistema modular para locomoción-manipulación, donde empleamos grandes modelos de visión de vocabulario abierto para una sólida generalización visual. Nuestro sistema es capaz de operar en diversos entornos del mundo real, desde oficinas hasta cafeterías, donde el robot puede manipular de manera fiable varios objetos cotidianos (por ejemplo, tazas, manzanas, juguetes) en superficies con alturas que van desde los 43 cm hasta los 92 cm. Pruebas sistemáticas modulares y de extremo a extremo en simulación y en el mundo real demuestran la efectividad de nuestro diseño propuesto. Creemos que los avances presentados en este artículo pueden abrir nuevas formas de entrenar robots humanoides para interactuar con objetos cotidianos.

English

Visual loco-manipulation of arbitrary objects in the wild with humanoid robots requires accurate end-effector (EE) control and a generalizable understanding of the scene via visual inputs (e.g., RGB-D images). Existing approaches are based on real-world imitation learning and exhibit limited generalization due to the difficulty in collecting large-scale training datasets. This paper presents a new paradigm, HERO, for object loco-manipulation with humanoid robots that combines the strong generalization and open-vocabulary understanding of large vision models with strong control performance from simulated training. We achieve this by designing an accurate residual-aware EE tracking policy. This EE tracking policy combines classical robotics with machine learning. It uses a) inverse kinematics to convert residual end-effector targets into reference trajectories, b) a learned neural forward model for accurate forward kinematics, c) goal adjustment, and d) replanning. Together, these innovations help us cut down the end-effector tracking error by 3.2x. We use this accurate end-effector tracker to build a modular system for loco-manipulation, where we use open-vocabulary large vision models for strong visual generalization. Our system is able to operate in diverse real-world environments, from offices to coffee shops, where the robot is able to reliably manipulate various everyday objects (e.g., mugs, apples, toys) on surfaces ranging from 43cm to 92cm in height. Systematic modular and end-to-end tests in simulation and the real world demonstrate the effectiveness of our proposed design. We believe the advances in this paper can open up new ways of training humanoid robots to interact with daily objects.