V-IRL: Virtuele Intelligentie Verankeren in het Echte Leven

V-IRL: Grounding Virtual Intelligence in Real Life

February 5, 2024

Auteurs: Jihan Yang, Runyu Ding, Ellis Brown, Xiaojuan Qi, Saining Xie

cs.AI

Samenvatting

Er bestaat een zintuiglijke kloof tussen de aarde die mensen bewonen en de digitale domeinen waarin moderne AI-agenten worden gecreëerd. Om AI-agenten te ontwikkelen die net zo flexibel kunnen waarnemen, denken en handelen als mensen in realistische omgevingen, is het essentieel om de realiteitskloof tussen de digitale en fysieke werelden te overbruggen. Hoe kunnen we agenten belichamen in een omgeving die even rijk en divers is als die waarin wij leven, zonder de beperkingen die worden opgelegd door echte hardware en controle? Met dit doel introduceren we V-IRL: een platform dat agenten in staat stelt om op schaal te interageren met de echte wereld in een virtuele, maar realistische omgeving. Ons platform dient als een speelplaats voor het ontwikkelen van agenten die diverse praktische taken kunnen uitvoeren, en als een uitgebreide testomgeving voor het meten van vooruitgang in vaardigheden die variëren van waarneming en besluitvorming tot interactie met real-world data over de hele wereld.

English

There is a sensory gulf between the Earth that humans inhabit and the digital realms in which modern AI agents are created. To develop AI agents that can sense, think, and act as flexibly as humans in real-world settings, it is imperative to bridge the realism gap between the digital and physical worlds. How can we embody agents in an environment as rich and diverse as the one we inhabit, without the constraints imposed by real hardware and control? Towards this end, we introduce V-IRL: a platform that enables agents to scalably interact with the real world in a virtual yet realistic environment. Our platform serves as a playground for developing agents that can accomplish various practical tasks and as a vast testbed for measuring progress in capabilities spanning perception, decision-making, and interaction with real-world data across the entire globe.