IGOR: Las Representaciones de Objetivos de Imagen son las Unidades de Control Atómicas para Modelos Fundamentales en IA Encarnada

IGOR: Image-GOal Representations are the Atomic Control Units for Foundation Models in Embodied AI

October 17, 2024

Autores: Xiaoyu Chen, Junliang Guo, Tianyu He, Chuheng Zhang, Pushi Zhang, Derek Cathera Yang, Li Zhao, Jiang Bian

cs.AI

Resumen

Presentamos las Representaciones de Objetivos de Imagen (IGOR, por sus siglas en inglés), con el objetivo de aprender un espacio de acción unificado y semánticamente consistente entre humanos y varios robots. A través de este espacio de acción latente unificado, IGOR permite la transferencia de conocimiento entre datos de actividad de robots y humanos a gran escala. Logramos esto comprimiendo los cambios visuales entre una imagen inicial y su estado objetivo en acciones latentes. IGOR nos permite generar etiquetas de acciones latentes para datos de video a escala de internet. Este espacio de acción latente unificado permite el entrenamiento de políticas fundamentales y modelos del mundo en una amplia variedad de tareas realizadas tanto por robots como por humanos. Demostramos que: (1) IGOR aprende un espacio de acción semánticamente consistente para humanos y robots, caracterizando varios movimientos posibles de objetos que representan el conocimiento de interacción física; (2) IGOR puede "migrar" los movimientos del objeto en un video a otros videos, incluso entre humanos y robots, utilizando conjuntamente el modelo de acción latente y el modelo del mundo; (3) IGOR puede aprender a alinear acciones latentes con lenguaje natural a través del modelo de política fundamental, e integrar acciones latentes con un modelo de política de bajo nivel para lograr un control efectivo de robots. Creemos que IGOR abre nuevas posibilidades para la transferencia de conocimiento y control de humanos a robots.

English

We introduce Image-GOal Representations (IGOR), aiming to learn a unified, semantically consistent action space across human and various robots. Through this unified latent action space, IGOR enables knowledge transfer among large-scale robot and human activity data. We achieve this by compressing visual changes between an initial image and its goal state into latent actions. IGOR allows us to generate latent action labels for internet-scale video data. This unified latent action space enables the training of foundation policy and world models across a wide variety of tasks performed by both robots and humans. We demonstrate that: (1) IGOR learns a semantically consistent action space for both human and robots, characterizing various possible motions of objects representing the physical interaction knowledge; (2) IGOR can "migrate" the movements of the object in the one video to other videos, even across human and robots, by jointly using the latent action model and world model; (3) IGOR can learn to align latent actions with natural language through the foundation policy model, and integrate latent actions with a low-level policy model to achieve effective robot control. We believe IGOR opens new possibilities for human-to-robot knowledge transfer and control.