V-IRL: Воплощение виртуального интеллекта в реальной жизни

V-IRL: Grounding Virtual Intelligence in Real Life

February 5, 2024

Авторы: Jihan Yang, Runyu Ding, Ellis Brown, Xiaojuan Qi, Saining Xie

cs.AI

Аннотация

Существует сенсорная пропасть между Землей, которую населяют люди, и цифровыми мирами, в которых создаются современные ИИ-агенты. Чтобы разработать ИИ-агентов, способных воспринимать, мыслить и действовать так же гибко, как люди, в реальных условиях, необходимо преодолеть разрыв в реализме между цифровым и физическим мирами. Как можно воплотить агентов в среде, столь же богатой и разнообразной, как та, в которой мы живем, без ограничений, накладываемых реальным оборудованием и управлением? В этом направлении мы представляем V-IRL: платформу, которая позволяет агентам масштабируемо взаимодействовать с реальным миром в виртуальной, но реалистичной среде. Наша платформа служит как площадкой для разработки агентов, способных выполнять различные практические задачи, так и обширным полигоном для оценки прогресса в таких областях, как восприятие, принятие решений и взаимодействие с реальными данными по всему земному шару.

English

There is a sensory gulf between the Earth that humans inhabit and the digital realms in which modern AI agents are created. To develop AI agents that can sense, think, and act as flexibly as humans in real-world settings, it is imperative to bridge the realism gap between the digital and physical worlds. How can we embody agents in an environment as rich and diverse as the one we inhabit, without the constraints imposed by real hardware and control? Towards this end, we introduce V-IRL: a platform that enables agents to scalably interact with the real world in a virtual yet realistic environment. Our platform serves as a playground for developing agents that can accomplish various practical tasks and as a vast testbed for measuring progress in capabilities spanning perception, decision-making, and interaction with real-world data across the entire globe.