ファウンデーションモデルは何を発見したのか？帰納的バイアスを用いた世界モデルの探求

What Has a Foundation Model Found? Using Inductive Bias to Probe for World Models

July 9, 2025

著者: Keyon Vafa, Peter G. Chang, Ashesh Rambachan, Sendhil Mullainathan

cs.AI

要旨

基盤モデルは、シーケンス予測がより深い領域理解を解明できるという考えに基づいており、これはケプラーの惑星運動の予測が後にニュートン力学の発見につながったのと同様である。しかし、これらのモデルが真により深い構造を捉えているかどうかを評価することは依然として課題である。我々は、仮定された世界モデルから生成された合成データセットに基づいて、基盤モデルがどのように適応するかを検証する評価手法を開発した。この手法は、基盤モデルの帰納的バイアスが世界モデルと一致するかどうかを測定するものであり、これを帰納的バイアスプローブと呼ぶ。複数の領域にわたって、基盤モデルは訓練タスクにおいて優れた性能を発揮する一方で、新しいタスクに適応する際に、基盤となる世界モデルに対する帰納的バイアスを発展させられないことが明らかとなった。特に、軌道軌跡に基づいて訓練された基盤モデルは、新しい物理タスクに適応する際にニュートン力学を適用できないことが一貫して観察された。さらに分析を行った結果、これらのモデルは、一般化できないタスク固有のヒューリスティックを発展させているかのように振る舞うことが明らかとなった。

English

Foundation models are premised on the idea that sequence prediction can uncover deeper domain understanding, much like how Kepler's predictions of planetary motion later led to the discovery of Newtonian mechanics. However, evaluating whether these models truly capture deeper structure remains a challenge. We develop a technique for evaluating foundation models that examines how they adapt to synthetic datasets generated from some postulated world model. Our technique measures whether the foundation model's inductive bias aligns with the world model, and so we refer to it as an inductive bias probe. Across multiple domains, we find that foundation models can excel at their training tasks yet fail to develop inductive biases towards the underlying world model when adapted to new tasks. We particularly find that foundation models trained on orbital trajectories consistently fail to apply Newtonian mechanics when adapted to new physics tasks. Further analysis reveals that these models behave as if they develop task-specific heuristics that fail to generalize.