Modelos de Ocupación de Video

Video Occupancy Models

June 25, 2024

Autores: Manan Tomar, Philippe Hansen-Estruch, Philip Bachman, Alex Lamb, John Langford, Matthew E. Taylor, Sergey Levine

cs.AI

Resumen

Introducimos una nueva familia de modelos de predicción de video diseñados para apoyar tareas de control posteriores. Llamamos a estos modelos modelos de Ocupación de Video (VOCs). Los VOCs operan en un espacio latente compacto, evitando así la necesidad de hacer predicciones sobre píxeles individuales. A diferencia de los modelos de mundo en espacio latente anteriores, los VOCs predicen directamente la distribución descontada de estados futuros en un solo paso, evitando así la necesidad de proyecciones a múltiples pasos. Mostramos que ambas propiedades son beneficiosas al construir modelos predictivos de video para su uso en control posterior. El código está disponible en https://github.com/manantomar/video-occupancy-models{github.com/manantomar/video-occupancy-models}.

English

We introduce a new family of video prediction models designed to support downstream control tasks. We call these models Video Occupancy models (VOCs). VOCs operate in a compact latent space, thus avoiding the need to make predictions about individual pixels. Unlike prior latent-space world models, VOCs directly predict the discounted distribution of future states in a single step, thus avoiding the need for multistep roll-outs. We show that both properties are beneficial when building predictive models of video for use in downstream control. Code is available at https://github.com/manantomar/video-occupancy-models{github.com/manantomar/video-occupancy-models}.