A compreensão intuitiva da física emerge do pré-treinamento auto-supervisionado em vídeos naturais

Intuitive physics understanding emerges from self-supervised pretraining on natural videos

February 17, 2025

Autores: Quentin Garrido, Nicolas Ballas, Mahmoud Assran, Adrien Bardes, Laurent Najman, Michael Rabbat, Emmanuel Dupoux, Yann LeCun

cs.AI

Resumo

Investigamos o surgimento da compreensão de física intuitiva em modelos de redes neurais profundas de propósito geral treinados para prever regiões mascaradas em vídeos naturais. Utilizando o paradigma de violação de expectativa, descobrimos que modelos de previsão de vídeo treinados para prever resultados em um espaço de representação aprendido demonstram compreensão de várias propriedades da física intuitiva, como permanência de objetos e consistência de forma. Em contraste, a previsão de vídeo no espaço de pixels e modelos de linguagem multimodal de grande escala, que raciocinam por meio de texto, apresentam desempenho mais próximo do acaso. Nossas comparações dessas arquiteturas revelam que aprender conjuntamente um espaço de representação abstrato enquanto se preveem partes ausentes da entrada sensorial, semelhante à codificação preditiva, é suficiente para adquirir uma compreensão da física intuitiva, e que até mesmo modelos treinados com uma semana de vídeos únicos alcançam desempenho acima do acaso. Isso desafia a ideia de que o conhecimento central — um conjunto de sistemas inatos para ajudar a compreender o mundo — precisa ser embutido para desenvolver uma compreensão da física intuitiva.

English

We investigate the emergence of intuitive physics understanding in general-purpose deep neural network models trained to predict masked regions in natural videos. Leveraging the violation-of-expectation framework, we find that video prediction models trained to predict outcomes in a learned representation space demonstrate an understanding of various intuitive physics properties, such as object permanence and shape consistency. In contrast, video prediction in pixel space and multimodal large language models, which reason through text, achieve performance closer to chance. Our comparisons of these architectures reveal that jointly learning an abstract representation space while predicting missing parts of sensory input, akin to predictive coding, is sufficient to acquire an understanding of intuitive physics, and that even models trained on one week of unique video achieve above chance performance. This challenges the idea that core knowledge -- a set of innate systems to help understand the world -- needs to be hardwired to develop an understanding of intuitive physics.