V-IRL: Fundamentando la Inteligencia Virtual en la Vida Real

V-IRL: Grounding Virtual Intelligence in Real Life

February 5, 2024

Autores: Jihan Yang, Runyu Ding, Ellis Brown, Xiaojuan Qi, Saining Xie

cs.AI

Resumen

Existe un abismo sensorial entre la Tierra que habitan los humanos y los reinos digitales en los que se crean los agentes de IA modernos. Para desarrollar agentes de IA que puedan percibir, pensar y actuar con la misma flexibilidad que los humanos en entornos del mundo real, es imperativo cerrar la brecha de realismo entre los mundos digital y físico. ¿Cómo podemos dotar a los agentes de un entorno tan rico y diverso como el que habitamos, sin las limitaciones impuestas por el hardware y el control reales? Con este fin, presentamos V-IRL: una plataforma que permite a los agentes interactuar de manera escalable con el mundo real en un entorno virtual pero realista. Nuestra plataforma sirve como un campo de pruebas para desarrollar agentes capaces de realizar diversas tareas prácticas y como un extenso banco de pruebas para medir el progreso en capacidades que abarcan la percepción, la toma de decisiones y la interacción con datos del mundo real en todo el planeta.

English

There is a sensory gulf between the Earth that humans inhabit and the digital realms in which modern AI agents are created. To develop AI agents that can sense, think, and act as flexibly as humans in real-world settings, it is imperative to bridge the realism gap between the digital and physical worlds. How can we embody agents in an environment as rich and diverse as the one we inhabit, without the constraints imposed by real hardware and control? Towards this end, we introduce V-IRL: a platform that enables agents to scalably interact with the real world in a virtual yet realistic environment. Our platform serves as a playground for developing agents that can accomplish various practical tasks and as a vast testbed for measuring progress in capabilities spanning perception, decision-making, and interaction with real-world data across the entire globe.