IGOR: Representações de Metas de Imagem são as Unidades de Controle Atômicas para Modelos Fundamentais em IA Incorporada

IGOR: Image-GOal Representations are the Atomic Control Units for Foundation Models in Embodied AI

October 17, 2024

Autores: Xiaoyu Chen, Junliang Guo, Tianyu He, Chuheng Zhang, Pushi Zhang, Derek Cathera Yang, Li Zhao, Jiang Bian

cs.AI

Resumo

Apresentamos Representações de Metas de Imagem (IGOR), com o objetivo de aprender um espaço de ação unificado e semanticamente consistente entre humanos e vários robôs. Através deste espaço de ação latente unificado, o IGOR possibilita a transferência de conhecimento entre dados de atividades em larga escala de robôs e humanos. Conseguimos isso comprimindo as mudanças visuais entre uma imagem inicial e seu estado de meta em ações latentes. O IGOR nos permite gerar rótulos de ação latente para dados de vídeo em escala da internet. Este espaço de ação latente unificado possibilita o treinamento de políticas fundamentais e modelos de mundo em uma ampla variedade de tarefas realizadas tanto por robôs quanto por humanos. Demonstramos que: (1) o IGOR aprende um espaço de ação semanticamente consistente para humanos e robôs, caracterizando várias possíveis movimentações de objetos representando o conhecimento de interação física; (2) o IGOR pode "migrar" os movimentos do objeto em um vídeo para outros vídeos, mesmo entre humanos e robôs, utilizando em conjunto o modelo de ação latente e o modelo de mundo; (3) o IGOR pode aprender a alinhar ações latentes com linguagem natural através do modelo de política fundamental, e integrar ações latentes com um modelo de política de baixo nível para alcançar um controle eficaz do robô. Acreditamos que o IGOR abre novas possibilidades para a transferência de conhecimento e controle de humanos para robôs.

English

We introduce Image-GOal Representations (IGOR), aiming to learn a unified, semantically consistent action space across human and various robots. Through this unified latent action space, IGOR enables knowledge transfer among large-scale robot and human activity data. We achieve this by compressing visual changes between an initial image and its goal state into latent actions. IGOR allows us to generate latent action labels for internet-scale video data. This unified latent action space enables the training of foundation policy and world models across a wide variety of tasks performed by both robots and humans. We demonstrate that: (1) IGOR learns a semantically consistent action space for both human and robots, characterizing various possible motions of objects representing the physical interaction knowledge; (2) IGOR can "migrate" the movements of the object in the one video to other videos, even across human and robots, by jointly using the latent action model and world model; (3) IGOR can learn to align latent actions with natural language through the foundation policy model, and integrate latent actions with a low-level policy model to achieve effective robot control. We believe IGOR opens new possibilities for human-to-robot knowledge transfer and control.