ИГОР: Изображения-цели представляют собой атомные блоки управления для базовых моделей во воплощенном искусственном интеллекте.

IGOR: Image-GOal Representations are the Atomic Control Units for Foundation Models in Embodied AI

October 17, 2024

Авторы: Xiaoyu Chen, Junliang Guo, Tianyu He, Chuheng Zhang, Pushi Zhang, Derek Cathera Yang, Li Zhao, Jiang Bian

cs.AI

Аннотация

Мы представляем Представления Изображения-Цели (IGOR), нацеленные на изучение объединенного, семантически последовательного пространства действий между человеком и различными роботами. Через это объединенное скрытое пространство действий IGOR обеспечивает передачу знаний среди данных о деятельности масштабных роботов и людей. Мы достигаем этого путем сжатия визуальных изменений между начальным изображением и его целевым состоянием в скрытые действия. IGOR позволяет нам генерировать метки скрытых действий для видеоданных масштаба Интернета. Это объединенное скрытое пространство действий обеспечивает обучение основных политик и моделей мира по широкому спектру задач, выполняемых как роботами, так и людьми. Мы демонстрируем, что: (1) IGOR изучает семантически последовательное пространство действий как для людей, так и для роботов, характеризуя различные возможные движения объектов, представляющих знание о физическом взаимодействии; (2) IGOR может "мигрировать" движения объекта из одного видео в другие видео, даже между людьми и роботами, совместно используя модель скрытых действий и модель мира; (3) IGOR может научиться выравнивать скрытые действия с естественным языком через модель основной политики и интегрировать скрытые действия с моделью политики низкого уровня для достижения эффективного управления роботом. Мы считаем, что IGOR открывает новые возможности для передачи знаний от человека к роботу и управления.

English

We introduce Image-GOal Representations (IGOR), aiming to learn a unified, semantically consistent action space across human and various robots. Through this unified latent action space, IGOR enables knowledge transfer among large-scale robot and human activity data. We achieve this by compressing visual changes between an initial image and its goal state into latent actions. IGOR allows us to generate latent action labels for internet-scale video data. This unified latent action space enables the training of foundation policy and world models across a wide variety of tasks performed by both robots and humans. We demonstrate that: (1) IGOR learns a semantically consistent action space for both human and robots, characterizing various possible motions of objects representing the physical interaction knowledge; (2) IGOR can "migrate" the movements of the object in the one video to other videos, even across human and robots, by jointly using the latent action model and world model; (3) IGOR can learn to align latent actions with natural language through the foundation policy model, and integrate latent actions with a low-level policy model to achieve effective robot control. We believe IGOR opens new possibilities for human-to-robot knowledge transfer and control.