Video als neue Sprache für Entscheidungsfindung in der realen Welt

Zusammenfassung

Sowohl Text- als auch Videodaten sind im Internet reichlich vorhanden und unterstützen groß angelegtes selbstüberwachtes Lernen durch die Vorhersage des nächsten Tokens oder Frames. Allerdings wurden sie nicht gleichermaßen genutzt: Sprachmodelle haben erhebliche Auswirkungen in der realen Welt gezeigt, während die Videogenerierung weitgehend auf den Bereich der Medienunterhaltung beschränkt blieb. Dennoch erfassen Videodaten wichtige Informationen über die physische Welt, die sich nur schwer in Sprache ausdrücken lassen. Um diese Lücke zu schließen, diskutieren wir eine unterschätzte Möglichkeit, die Videogenerierung zur Lösung von Aufgaben in der realen Welt zu erweitern. Wir beobachten, wie Video, ähnlich wie Sprache, als einheitliche Schnittstelle dienen kann, die Wissen aus dem Internet aufnehmen und vielfältige Aufgaben darstellen kann. Darüber hinaus zeigen wir, wie die Videogenerierung, ähnlich wie Sprachmodelle, als Planer, Agenten, Rechenmaschinen und Umgebungssimulatoren fungieren kann, durch Techniken wie In-Context-Lernen, Planung und bestärkendes Lernen. Wir identifizieren bedeutende Anwendungsmöglichkeiten in Bereichen wie Robotik, autonomes Fahren und Wissenschaft, gestützt durch aktuelle Arbeiten, die zeigen, dass solche fortgeschrittenen Fähigkeiten in der Videogenerierung durchaus erreichbar sind. Schließlich benennen wir zentrale Herausforderungen in der Videogenerierung, die den Fortschritt behindern. Die Bewältigung dieser Herausforderungen wird es Videogenerierungsmodellen ermöglichen, einen einzigartigen Wert neben Sprachmodellen in einer breiteren Palette von KI-Anwendungen zu demonstrieren.

English

Both text and video data are abundant on the internet and support large-scale self-supervised learning through next token or frame prediction. However, they have not been equally leveraged: language models have had significant real-world impact, whereas video generation has remained largely limited to media entertainment. Yet video data captures important information about the physical world that is difficult to express in language. To address this gap, we discuss an under-appreciated opportunity to extend video generation to solve tasks in the real world. We observe how, akin to language, video can serve as a unified interface that can absorb internet knowledge and represent diverse tasks. Moreover, we demonstrate how, like language models, video generation can serve as planners, agents, compute engines, and environment simulators through techniques such as in-context learning, planning and reinforcement learning. We identify major impact opportunities in domains such as robotics, self-driving, and science, supported by recent work that demonstrates how such advanced capabilities in video generation are plausibly within reach. Lastly, we identify key challenges in video generation that mitigate progress. Addressing these challenges will enable video generation models to demonstrate unique value alongside language models in a wider array of AI applications.

Video als neue Sprache für Entscheidungsfindung in der realen Welt

Video as the New Language for Real-World Decision Making

Zusammenfassung

Support