일반화 이후의 전문화: 파운데이션 모델의 테스트 타임 트레이닝 이해를 향하여

초록

최근의 실증 연구들은 주어진 작업에 대해 테스트 시간 동안 모델을 계속 훈련시키는 아이디어, 즉 테스트 시간 훈련(Test-Time Training, TTT)을 탐구하였으며, 이를 통해 상당한 성능 향상을 이끌어냈다는 것을 발견했습니다. 그러나 TTT가 왜 그리고 언제 효과적인지에 대한 이해는 여전히 제한적입니다. 이전의 설명들은 주로 TTT가 분포 외 적응(out-of-distribution adaptation)에 적용되거나 특권 데이터(privileged data)와 함께 사용될 때 도움이 될 수 있다는 관찰에 초점을 맞추었습니다. 그러나 대부분의 테스트 데이터가 분포 내(in-distribution)에 있는 기초 모델(foundation models)의 규모가 커짐에 따라 이러한 설명들은 의문시되고 있습니다. 우리는 대신 기초 모델이 전역적으로 과소 매개변수화(underparameterized)되어 있으며, TTT가 일반화 이후에 특수화를 위한 메커니즘을 제공하여 테스트 작업과 관련된 개념에 능력을 집중시킨다는 가설을 제시합니다. 특히, 선형 표현 가설(linear representation hypothesis) 하에서, 우리는 TTT가 전역 훈련(global training)보다 훨씬 작은 분포 내 테스트 오류를 달성하는 모델을 제안합니다. 우리는 ImageNet에서 희소 오토인코더(sparse autoencoder)를 훈련시켜 의미적으로 관련된 데이터 포인트들이 단 몇 개의 공유 개념으로 설명된다는 모델의 주요 가정을 실증적으로 검증합니다. 마지막으로, 이미지 및 언어 작업에 걸쳐 스케일링 연구를 수행하여 특수화가 가장 효과적인 영역을 확인함으로써 우리 모델의 실질적인 함의를 입증합니다.

English

Recent empirical studies have explored the idea of continuing to train a model at test-time for a given task, known as test-time training (TTT), and have found it to yield significant performance improvements. However, there is limited understanding of why and when TTT is effective. Earlier explanations mostly focused on the observation that TTT may help when applied to out-of-distribution adaptation or used with privileged data. However, the growing scale of foundation models with most test data being in-distribution questions these explanations. We instead posit that foundation models remain globally underparameterized, with TTT providing a mechanism for specialization after generalization, focusing capacity on concepts relevant to the test task. Specifically, under the linear representation hypothesis, we propose a model in which TTT achieves a substantially smaller in-distribution test error than global training. We empirically validate our model's key assumptions by training a sparse autoencoder on ImageNet, showing that semantically related data points are explained by only a few shared concepts. Finally, we perform scaling studies across image and language tasks that confirm the practical implications of our model, identifying the regimes where specialization is most effective.

일반화 이후의 전문화: 파운데이션 모델의 테스트 타임 트레이닝 이해를 향하여

Specialization after Generalization: Towards Understanding Test-Time Training in Foundation Models

초록

Support