Cosa Ha Trovato un Modello di Base? Utilizzare il Bias Induttivo per Indagare i Modelli del Mondo

What Has a Foundation Model Found? Using Inductive Bias to Probe for World Models

July 9, 2025

Autori: Keyon Vafa, Peter G. Chang, Ashesh Rambachan, Sendhil Mullainathan

cs.AI

Abstract

I modelli di base si fondano sull'idea che la previsione di sequenze possa rivelare una comprensione più profonda del dominio, in modo simile a come le previsioni di Keplero sul moto planetario portarono in seguito alla scoperta della meccanica newtoniana. Tuttavia, valutare se questi modelli catturino veramente una struttura più profonda rimane una sfida. Sviluppiamo una tecnica per valutare i modelli di base che esamina come si adattano a dataset sintetici generati da un ipotetico modello del mondo. La nostra tecnica misura se il bias induttivo del modello di base sia allineato con il modello del mondo, e per questo la definiamo una sonda del bias induttivo. In diversi domini, scopriamo che i modelli di base possono eccellere nei loro compiti di addestramento, ma non sviluppano bias induttivi verso il modello del mondo sottostante quando vengono adattati a nuovi compiti. In particolare, osserviamo che i modelli di base addestrati su traiettorie orbitali falliscono sistematicamente nell'applicare la meccanica newtoniana quando adattati a nuovi compiti di fisica. Un'analisi più approfondita rivela che questi modelli si comportano come se sviluppassero euristiche specifiche per il compito che non riescono a generalizzare.

English

Foundation models are premised on the idea that sequence prediction can uncover deeper domain understanding, much like how Kepler's predictions of planetary motion later led to the discovery of Newtonian mechanics. However, evaluating whether these models truly capture deeper structure remains a challenge. We develop a technique for evaluating foundation models that examines how they adapt to synthetic datasets generated from some postulated world model. Our technique measures whether the foundation model's inductive bias aligns with the world model, and so we refer to it as an inductive bias probe. Across multiple domains, we find that foundation models can excel at their training tasks yet fail to develop inductive biases towards the underlying world model when adapted to new tasks. We particularly find that foundation models trained on orbital trajectories consistently fail to apply Newtonian mechanics when adapted to new physics tasks. Further analysis reveals that these models behave as if they develop task-specific heuristics that fail to generalize.