Интуитивное понимание физики возникает в результате самоконтролируемого предварительного обучения на естественных видеозаписях

Intuitive physics understanding emerges from self-supervised pretraining on natural videos

February 17, 2025

Авторы: Quentin Garrido, Nicolas Ballas, Mahmoud Assran, Adrien Bardes, Laurent Najman, Michael Rabbat, Emmanuel Dupoux, Yann LeCun

cs.AI

Аннотация

Мы исследуем возникновение интуитивного понимания физики в универсальных глубоких нейронных сетях, обученных предсказывать замаскированные области в естественных видеозаписях. Используя метод нарушения ожиданий, мы обнаруживаем, что модели предсказания видео, обученные прогнозировать результаты в изученном пространстве представлений, демонстрируют понимание различных свойств интуитивной физики, таких как постоянство объектов и согласованность формы. В то же время, модели предсказания видео в пространстве пикселей и мультимодальные крупные языковые модели, которые рассуждают через текст, показывают результаты, близкие к случайным. Наше сравнение этих архитектур показывает, что совместное изучение абстрактного пространства представлений при предсказании отсутствующих частей сенсорного ввода, аналогично предсказательному кодированию, достаточно для приобретения понимания интуитивной физики, и что даже модели, обученные на одной неделе уникальных видеозаписей, показывают результаты выше случайных. Это ставит под сомнение идею о том, что базовые знания — набор врожденных систем для понимания мира — должны быть жестко запрограммированы для развития понимания интуитивной физики.

English

We investigate the emergence of intuitive physics understanding in general-purpose deep neural network models trained to predict masked regions in natural videos. Leveraging the violation-of-expectation framework, we find that video prediction models trained to predict outcomes in a learned representation space demonstrate an understanding of various intuitive physics properties, such as object permanence and shape consistency. In contrast, video prediction in pixel space and multimodal large language models, which reason through text, achieve performance closer to chance. Our comparisons of these architectures reveal that jointly learning an abstract representation space while predicting missing parts of sensory input, akin to predictive coding, is sufficient to acquire an understanding of intuitive physics, and that even models trained on one week of unique video achieve above chance performance. This challenges the idea that core knowledge -- a set of innate systems to help understand the world -- needs to be hardwired to develop an understanding of intuitive physics.