一般化後の特化：基盤モデルにおけるテスト時訓練の理解に向けて

Specialization after Generalization: Towards Understanding Test-Time Training in Foundation Models

September 29, 2025

著者: Jonas Hübotter, Patrik Wolf, Alexander Shevchenko, Dennis Jüni, Andreas Krause, Gil Kur

cs.AI

要旨

近年の実証研究では、特定のタスクにおいてテスト時にモデルを継続的に訓練するというアイデア、すなわちテスト時訓練（TTT）が検討され、その結果、性能が大幅に向上することが明らかとなっている。しかし、TTTがなぜ、そしてどのような場合に有効であるかについては、十分な理解が得られていない。これまでの説明は主に、TTTが分布外適応に適用される場合や特権データと共に使用される場合に有効であるという観察に焦点を当てていた。しかし、基盤モデルの規模が拡大し、ほとんどのテストデータが分布内であることを考えると、これらの説明には疑問が生じる。我々は、基盤モデルが全体的に過少パラメータ化された状態であり、TTTが汎化後の専門化を可能にするメカニズムを提供し、テストタスクに関連する概念に容量を集中させると仮定する。具体的には、線形表現仮説の下で、TTTが全体的な訓練よりも大幅に小さい分布内テスト誤差を達成するモデルを提案する。我々は、ImageNet上でスパースオートエンコーダを訓練し、意味的に関連するデータポイントが少数の共有概念によって説明されることを示すことで、モデルの主要な仮定を実証的に検証する。最後に、画像と言語タスクにわたるスケーリング研究を行い、専門化が最も効果的な領域を特定することで、我々のモデルの実用的な意義を確認する。

English

Recent empirical studies have explored the idea of continuing to train a model at test-time for a given task, known as test-time training (TTT), and have found it to yield significant performance improvements. However, there is limited understanding of why and when TTT is effective. Earlier explanations mostly focused on the observation that TTT may help when applied to out-of-distribution adaptation or used with privileged data. However, the growing scale of foundation models with most test data being in-distribution questions these explanations. We instead posit that foundation models remain globally underparameterized, with TTT providing a mechanism for specialization after generalization, focusing capacity on concepts relevant to the test task. Specifically, under the linear representation hypothesis, we propose a model in which TTT achieves a substantially smaller in-distribution test error than global training. We empirically validate our model's key assumptions by training a sparse autoencoder on ImageNet, showing that semantically related data points are explained by only a few shared concepts. Finally, we perform scaling studies across image and language tasks that confirm the practical implications of our model, identifying the regimes where specialization is most effective.