Video als de Nieuwe Taal voor Besluitvorming in de Echte Wereld

Samenvatting

Zowel tekst- als videogegevens zijn overvloedig aanwezig op het internet en ondersteunen grootschalig zelfgestuurd leren via voorspelling van de volgende token of frame. Echter, ze zijn niet in gelijke mate benut: taalmodelen hebben een aanzienlijke impact gehad in de praktijk, terwijl videogeneratie grotendeels beperkt is gebleven tot media en entertainment. Toch bevat videodata belangrijke informatie over de fysieke wereld die moeilijk in taal uit te drukken is. Om deze kloof te overbruggen, bespreken we een ondergewaardeerde mogelijkheid om videogeneratie uit te breiden voor het oplossen van taken in de echte wereld. We observeren hoe video, net als taal, kan dienen als een uniforme interface die internetkennis kan absorberen en diverse taken kan representeren. Bovendien laten we zien hoe videogeneratie, net als taalmodelen, kan fungeren als planners, agents, rekenmotoren en omgevingssimulatoren via technieken zoals in-context leren, planning en reinforcement learning. We identificeren grote impactmogelijkheden in domeinen zoals robotica, zelfrijdende auto's en wetenschap, ondersteund door recent werk dat aantoont hoe dergelijke geavanceerde mogelijkheden in videogeneratie plausibel binnen bereik zijn. Tot slot identificeren we belangrijke uitdagingen in videogeneratie die de vooruitgang belemmeren. Het aanpakken van deze uitdagingen zal videogeneratiemodellen in staat stellen om unieke waarde te demonstreren naast taalmodelen in een breder scala aan AI-toepassingen.

English

Both text and video data are abundant on the internet and support large-scale self-supervised learning through next token or frame prediction. However, they have not been equally leveraged: language models have had significant real-world impact, whereas video generation has remained largely limited to media entertainment. Yet video data captures important information about the physical world that is difficult to express in language. To address this gap, we discuss an under-appreciated opportunity to extend video generation to solve tasks in the real world. We observe how, akin to language, video can serve as a unified interface that can absorb internet knowledge and represent diverse tasks. Moreover, we demonstrate how, like language models, video generation can serve as planners, agents, compute engines, and environment simulators through techniques such as in-context learning, planning and reinforcement learning. We identify major impact opportunities in domains such as robotics, self-driving, and science, supported by recent work that demonstrates how such advanced capabilities in video generation are plausibly within reach. Lastly, we identify key challenges in video generation that mitigate progress. Addressing these challenges will enable video generation models to demonstrate unique value alongside language models in a wider array of AI applications.

Video als de Nieuwe Taal voor Besluitvorming in de Echte Wereld

Video as the New Language for Real-World Decision Making

Samenvatting

Support