V-IRL: Verankerung virtueller Intelligenz in der realen Welt

V-IRL: Grounding Virtual Intelligence in Real Life

February 5, 2024

Autoren: Jihan Yang, Runyu Ding, Ellis Brown, Xiaojuan Qi, Saining Xie

cs.AI

Zusammenfassung

Es gibt eine sensorische Kluft zwischen der Erde, die der Mensch bewohnt, und den digitalen Sphären, in denen moderne KI-Agenten erschaffen werden. Um KI-Agenten zu entwickeln, die in realen Umgebungen ebenso flexibel wahrnehmen, denken und handeln können wie Menschen, ist es unerlässlich, den Realismus-Gap zwischen der digitalen und der physischen Welt zu überbrücken. Wie können wir Agenten in einer Umgebung verkörpern, die so reich und vielfältig ist wie die, die wir bewohnen, ohne die Einschränkungen durch reale Hardware und Steuerung? Zu diesem Zweck stellen wir V-IRL vor: eine Plattform, die es Agenten ermöglicht, skalierbar mit der realen Welt in einer virtuellen, aber realistischen Umgebung zu interagieren. Unsere Plattform dient als Spielwiese für die Entwicklung von Agenten, die verschiedene praktische Aufgaben bewältigen können, und als umfangreiches Testfeld, um Fortschritte in den Fähigkeiten der Wahrnehmung, Entscheidungsfindung und Interaktion mit realen Daten weltweit zu messen.

English

There is a sensory gulf between the Earth that humans inhabit and the digital realms in which modern AI agents are created. To develop AI agents that can sense, think, and act as flexibly as humans in real-world settings, it is imperative to bridge the realism gap between the digital and physical worlds. How can we embody agents in an environment as rich and diverse as the one we inhabit, without the constraints imposed by real hardware and control? Towards this end, we introduce V-IRL: a platform that enables agents to scalably interact with the real world in a virtual yet realistic environment. Our platform serves as a playground for developing agents that can accomplish various practical tasks and as a vast testbed for measuring progress in capabilities spanning perception, decision-making, and interaction with real-world data across the entire globe.