Modelos de Ocupação de Vídeo

Video Occupancy Models

June 25, 2024

Autores: Manan Tomar, Philippe Hansen-Estruch, Philip Bachman, Alex Lamb, John Langford, Matthew E. Taylor, Sergey Levine

cs.AI

Resumo

Apresentamos uma nova família de modelos de previsão de vídeo projetados para suportar tarefas de controle subsequentes. Chamamos esses modelos de modelos de Ocupação de Vídeo (VOCs). Os VOCs operam em um espaço latente compacto, evitando assim a necessidade de fazer previsões sobre pixels individuais. Ao contrário dos modelos de mundo em espaço latente anteriores, os VOCs preveem diretamente a distribuição descontada de estados futuros em um único passo, evitando a necessidade de previsões em múltiplos passos. Mostramos que ambas as propriedades são benéficas ao construir modelos preditivos de vídeo para uso em controle subsequente. O código está disponível em https://github.com/manantomar/video-occupancy-models{github.com/manantomar/video-occupancy-models}.

English

We introduce a new family of video prediction models designed to support downstream control tasks. We call these models Video Occupancy models (VOCs). VOCs operate in a compact latent space, thus avoiding the need to make predictions about individual pixels. Unlike prior latent-space world models, VOCs directly predict the discounted distribution of future states in a single step, thus avoiding the need for multistep roll-outs. We show that both properties are beneficial when building predictive models of video for use in downstream control. Code is available at https://github.com/manantomar/video-occupancy-models{github.com/manantomar/video-occupancy-models}.