Qu'a découvert un modèle de fondation ? Utilisation du biais inductif pour sonder les modèles du monde

What Has a Foundation Model Found? Using Inductive Bias to Probe for World Models

July 9, 2025

papers.authors: Keyon Vafa, Peter G. Chang, Ashesh Rambachan, Sendhil Mullainathan

cs.AI

papers.abstract

Les modèles de fondation reposent sur l'idée que la prédiction de séquences peut révéler une compréhension plus profonde d'un domaine, à l'image de la manière dont les prédictions de Kepler sur le mouvement des planètes ont conduit à la découverte de la mécanique newtonienne. Cependant, évaluer si ces modèles capturent véritablement une structure plus profonde reste un défi. Nous développons une technique pour évaluer les modèles de fondation qui examine comment ils s'adaptent à des ensembles de données synthétiques générés à partir d'un modèle de monde postulé. Notre technique mesure si le biais inductif du modèle de fondation est aligné avec le modèle de monde, et nous la qualifions donc de sonde de biais inductif. À travers plusieurs domaines, nous constatons que les modèles de fondation peuvent exceller dans leurs tâches d'entraînement tout en échouant à développer des biais inductifs envers le modèle de monde sous-jacent lorsqu'ils sont adaptés à de nouvelles tâches. Nous observons en particulier que les modèles de fondation entraînés sur des trajectoires orbitales échouent systématiquement à appliquer la mécanique newtonienne lorsqu'ils sont adaptés à de nouvelles tâches de physique. Une analyse plus approfondie révèle que ces modèles se comportent comme s'ils développaient des heuristiques spécifiques à la tâche qui ne parviennent pas à généraliser.

English

Foundation models are premised on the idea that sequence prediction can uncover deeper domain understanding, much like how Kepler's predictions of planetary motion later led to the discovery of Newtonian mechanics. However, evaluating whether these models truly capture deeper structure remains a challenge. We develop a technique for evaluating foundation models that examines how they adapt to synthetic datasets generated from some postulated world model. Our technique measures whether the foundation model's inductive bias aligns with the world model, and so we refer to it as an inductive bias probe. Across multiple domains, we find that foundation models can excel at their training tasks yet fail to develop inductive biases towards the underlying world model when adapted to new tasks. We particularly find that foundation models trained on orbital trajectories consistently fail to apply Newtonian mechanics when adapted to new physics tasks. Further analysis reveals that these models behave as if they develop task-specific heuristics that fail to generalize.