La comprensión de la física intuitiva surge del preentrenamiento auto-supervisado en videos naturales.

Intuitive physics understanding emerges from self-supervised pretraining on natural videos

February 17, 2025

Autores: Quentin Garrido, Nicolas Ballas, Mahmoud Assran, Adrien Bardes, Laurent Najman, Michael Rabbat, Emmanuel Dupoux, Yann LeCun

cs.AI

Resumen

Investigamos la aparición de la comprensión de la física intuitiva en modelos de redes neuronales profundas de propósito general entrenados para predecir regiones enmascaradas en videos naturales. Al aprovechar el marco de violación de expectativas, descubrimos que los modelos de predicción de video entrenados para predecir resultados en un espacio de representación aprendido demuestran una comprensión de varias propiedades de la física intuitiva, como la permanencia de objetos y la consistencia de formas. En contraste, la predicción de video en el espacio de píxeles y los modelos de lenguaje multimodal, que razonan a través de texto, logran un rendimiento más cercano al azar. Nuestras comparaciones de estas arquitecturas revelan que aprender conjuntamente un espacio de representación abstracto mientras se predicen partes faltantes de la entrada sensorial, similar a la codificación predictiva, es suficiente para adquirir una comprensión de la física intuitiva, y que incluso los modelos entrenados en una semana de videos únicos logran un rendimiento por encima del azar. Esto desafía la idea de que el conocimiento básico, un conjunto de sistemas innatos para ayudar a comprender el mundo, debe estar cableado para desarrollar una comprensión de la física intuitiva.

English

We investigate the emergence of intuitive physics understanding in general-purpose deep neural network models trained to predict masked regions in natural videos. Leveraging the violation-of-expectation framework, we find that video prediction models trained to predict outcomes in a learned representation space demonstrate an understanding of various intuitive physics properties, such as object permanence and shape consistency. In contrast, video prediction in pixel space and multimodal large language models, which reason through text, achieve performance closer to chance. Our comparisons of these architectures reveal that jointly learning an abstract representation space while predicting missing parts of sensory input, akin to predictive coding, is sufficient to acquire an understanding of intuitive physics, and that even models trained on one week of unique video achieve above chance performance. This challenges the idea that core knowledge -- a set of innate systems to help understand the world -- needs to be hardwired to develop an understanding of intuitive physics.