Video-Belegungsmodelle

Video Occupancy Models

June 25, 2024

Autoren: Manan Tomar, Philippe Hansen-Estruch, Philip Bachman, Alex Lamb, John Langford, Matthew E. Taylor, Sergey Levine

cs.AI

Zusammenfassung

Wir stellen eine neue Familie von Videovorhersagemodellen vor, die entwickelt wurden, um nachgelagerte Steuerungsaufgaben zu unterstützen. Wir nennen diese Modelle Video Occupancy Modelle (VOCs). VOCs arbeiten in einem kompakten latenten Raum, wodurch die Notwendigkeit entfällt, Vorhersagen über einzelne Pixel zu treffen. Im Gegensatz zu früheren Weltmodellen im latenten Raum sagen VOCs direkt die diskontierte Verteilung zukünftiger Zustände in einem Schritt vorher, wodurch die Notwendigkeit für mehrschrittige Rollouts vermieden wird. Wir zeigen, dass beide Eigenschaften vorteilhaft sind, wenn prädiktive Modelle von Videos für die Verwendung in nachgelagerten Steuerungen erstellt werden. Der Code ist verfügbar unter https://github.com/manantomar/video-occupancy-models{github.com/manantomar/video-occupancy-models}.

English

We introduce a new family of video prediction models designed to support downstream control tasks. We call these models Video Occupancy models (VOCs). VOCs operate in a compact latent space, thus avoiding the need to make predictions about individual pixels. Unlike prior latent-space world models, VOCs directly predict the discounted distribution of future states in a single step, thus avoiding the need for multistep roll-outs. We show that both properties are beneficial when building predictive models of video for use in downstream control. Code is available at https://github.com/manantomar/video-occupancy-models{github.com/manantomar/video-occupancy-models}.