Intuitives Verständnis der Physik entsteht aus selbstüberwachtem Pretraining an natürlichen Videos.

Intuitive physics understanding emerges from self-supervised pretraining on natural videos

February 17, 2025

Autoren: Quentin Garrido, Nicolas Ballas, Mahmoud Assran, Adrien Bardes, Laurent Najman, Michael Rabbat, Emmanuel Dupoux, Yann LeCun

cs.AI

Zusammenfassung

Wir untersuchen das Aufkommen eines intuitiven physikalischen Verständnisses in allgemeinen Deep-Neural-Network-Modellen, die darauf trainiert sind, maskierte Regionen in natürlichen Videos vorherzusagen. Unter Verwendung des Verletzung-der-Erwartung-Rahmens stellen wir fest, dass Video-Vorhersagemodelle, die darauf trainiert sind, Ergebnisse in einem erlernten Repräsentationsraum vorherzusagen, ein Verständnis verschiedener intuitiver physikalischer Eigenschaften wie Objektpermanenz und Formkonsistenz aufweisen. Im Gegensatz dazu erzielen Video-Vorhersagen im Pixelraum und multimodale große Sprachmodelle, die durch Text argumentieren, eine Leistung, die näher an Zufall heranreicht. Unsere Vergleiche dieser Architekturen zeigen, dass das gemeinsame Erlernen eines abstrakten Repräsentationsraums während der Vorhersage fehlender Teile sensorischer Eingaben, ähnlich dem prädiktiven Kodieren, ausreicht, um ein Verständnis für intuitive Physik zu erlangen, und dass selbst Modelle, die auf einer Woche einzigartiger Videos trainiert sind, eine Leistung über dem Zufallswert erzielen. Dies stellt die Idee in Frage, dass Kernwissen - eine Reihe angeborener Systeme, die helfen, die Welt zu verstehen - fest verdrahtet sein muss, um ein Verständnis für intuitive Physik zu entwickeln.

English

We investigate the emergence of intuitive physics understanding in general-purpose deep neural network models trained to predict masked regions in natural videos. Leveraging the violation-of-expectation framework, we find that video prediction models trained to predict outcomes in a learned representation space demonstrate an understanding of various intuitive physics properties, such as object permanence and shape consistency. In contrast, video prediction in pixel space and multimodal large language models, which reason through text, achieve performance closer to chance. Our comparisons of these architectures reveal that jointly learning an abstract representation space while predicting missing parts of sensory input, akin to predictive coding, is sufficient to acquire an understanding of intuitive physics, and that even models trained on one week of unique video achieve above chance performance. This challenges the idea that core knowledge -- a set of innate systems to help understand the world -- needs to be hardwired to develop an understanding of intuitive physics.