V-IRL : Ancrage de l'intelligence virtuelle dans la vie réelle

V-IRL: Grounding Virtual Intelligence in Real Life

February 5, 2024

Auteurs: Jihan Yang, Runyu Ding, Ellis Brown, Xiaojuan Qi, Saining Xie

cs.AI

Résumé

Il existe un fossé sensoriel entre la Terre que les humains habitent et les domaines numériques dans lesquels les agents d'IA modernes sont créés. Pour développer des agents d'IA capables de percevoir, penser et agir avec la même flexibilité que les humains dans des environnements réels, il est impératif de combler l'écart de réalisme entre les mondes numérique et physique. Comment pouvons-nous incarner des agents dans un environnement aussi riche et diversifié que celui que nous habitons, sans les contraintes imposées par le matériel réel et le contrôle ? Dans cette optique, nous présentons V-IRL : une plateforme qui permet aux agents d'interagir de manière évolutive avec le monde réel dans un environnement virtuel mais réaliste. Notre plateforme sert à la fois de terrain de jeu pour développer des agents capables d'accomplir diverses tâches pratiques et de vaste banc d'essai pour mesurer les progrès dans des capacités englobant la perception, la prise de décision et l'interaction avec des données du monde réel à l'échelle planétaire.

English

There is a sensory gulf between the Earth that humans inhabit and the digital realms in which modern AI agents are created. To develop AI agents that can sense, think, and act as flexibly as humans in real-world settings, it is imperative to bridge the realism gap between the digital and physical worlds. How can we embody agents in an environment as rich and diverse as the one we inhabit, without the constraints imposed by real hardware and control? Towards this end, we introduce V-IRL: a platform that enables agents to scalably interact with the real world in a virtual yet realistic environment. Our platform serves as a playground for developing agents that can accomplish various practical tasks and as a vast testbed for measuring progress in capabilities spanning perception, decision-making, and interaction with real-world data across the entire globe.