V-IRL: Radicare l'Intelligenza Virtuale nella Vita Reale

V-IRL: Grounding Virtual Intelligence in Real Life

February 5, 2024

Autori: Jihan Yang, Runyu Ding, Ellis Brown, Xiaojuan Qi, Saining Xie

cs.AI

Abstract

Esiste un divario sensoriale tra la Terra abitata dagli esseri umani e i regni digitali in cui vengono creati i moderni agenti di intelligenza artificiale. Per sviluppare agenti AI in grado di percepire, pensare e agire con la stessa flessibilità degli esseri umani in contesti del mondo reale, è fondamentale colmare il divario di realismo tra i mondi digitale e fisico. Come possiamo incarnare gli agenti in un ambiente ricco e diversificato come quello che abitiamo, senza i vincoli imposti dall'hardware reale e dal controllo? A tal fine, presentiamo V-IRL: una piattaforma che consente agli agenti di interagire in modo scalabile con il mondo reale in un ambiente virtuale ma realistico. La nostra piattaforma funge da campo di gioco per lo sviluppo di agenti in grado di svolgere varie attività pratiche e da un vasto banco di prova per misurare i progressi nelle capacità che spaziano dalla percezione, al processo decisionale, all'interazione con dati del mondo reale in tutto il globo.

English

There is a sensory gulf between the Earth that humans inhabit and the digital realms in which modern AI agents are created. To develop AI agents that can sense, think, and act as flexibly as humans in real-world settings, it is imperative to bridge the realism gap between the digital and physical worlds. How can we embody agents in an environment as rich and diverse as the one we inhabit, without the constraints imposed by real hardware and control? Towards this end, we introduce V-IRL: a platform that enables agents to scalably interact with the real world in a virtual yet realistic environment. Our platform serves as a playground for developing agents that can accomplish various practical tasks and as a vast testbed for measuring progress in capabilities spanning perception, decision-making, and interaction with real-world data across the entire globe.