Les stratégies d'apprentissage en contexte émergent de manière rationnelle.

In-Context Learning Strategies Emerge Rationally

June 21, 2025

Auteurs: Daniel Wurgaft, Ekdeep Singh Lubana, Core Francisco Park, Hidenori Tanaka, Gautam Reddy, Noah D. Goodman

cs.AI

Résumé

Les travaux récents analysant l'apprentissage en contexte (ICL) ont identifié un ensemble varié de stratégies décrivant le comportement des modèles dans différentes conditions expérimentales. Nous cherchons à unifier ces résultats en nous demandant pourquoi un modèle apprend ces stratégies disparates en premier lieu. Plus précisément, nous partons de l'observation que, lorsqu'il est entraîné à apprendre un mélange de tâches, comme c'est courant dans la littérature, les stratégies apprises par un modèle pour réaliser l'ICL peuvent être capturées par une famille de prédicteurs bayésiens : un prédicteur mémorisant, qui suppose un a priori discret sur l'ensemble des tâches vues, et un prédicteur généralisant, où l'a priori correspond à la distribution sous-jacente des tâches. En adoptant la perspective normative de l'analyse rationnelle, où le comportement d'un apprenant est expliqué comme une adaptation optimale aux données compte tenu des contraintes computationnelles, nous développons un cadre bayésien hiérarchique qui prédit presque parfaitement les prédictions de token suivant des Transformers tout au long de l'entraînement — sans supposer l'accès à leurs poids. Dans ce cadre, le pré-entraînement est vu comme un processus de mise à jour de la probabilité a posteriori de différentes stratégies, et le comportement au moment de l'inférence comme une moyenne pondérée par l'a posteriori des prédictions de ces stratégies. Notre cadre s'appuie sur des hypothèses communes concernant la dynamique d'apprentissage des réseaux de neurones, qui rendent explicite un compromis entre la perte et la complexité parmi les stratégies candidates : au-delà de sa capacité à expliquer les données, la préférence d'un modèle pour implémenter une stratégie est dictée par sa complexité. Cela aide à expliquer des phénomènes bien connus de l'ICL, tout en offrant de nouvelles prédictions : par exemple, nous montrons une tendance superlinéaire dans l'échelle de temps pour la transition de la généralisation à la mémorisation à mesure que la diversité des tâches augmente. Globalement, notre travail propose une explication et une prédiction de l'ICL ancrées dans des compromis entre la perte et la complexité des stratégies.

English

Recent work analyzing in-context learning (ICL) has identified a broad set of strategies that describe model behavior in different experimental conditions. We aim to unify these findings by asking why a model learns these disparate strategies in the first place. Specifically, we start with the observation that when trained to learn a mixture of tasks, as is popular in the literature, the strategies learned by a model for performing ICL can be captured by a family of Bayesian predictors: a memorizing predictor, which assumes a discrete prior on the set of seen tasks, and a generalizing predictor, where the prior matches the underlying task distribution. Adopting the normative lens of rational analysis, where a learner's behavior is explained as an optimal adaptation to data given computational constraints, we develop a hierarchical Bayesian framework that almost perfectly predicts Transformer next-token predictions throughout training -- without assuming access to its weights. Under this framework, pretraining is viewed as a process of updating the posterior probability of different strategies, and inference-time behavior as a posterior-weighted average over these strategies' predictions. Our framework draws on common assumptions about neural network learning dynamics, which make explicit a tradeoff between loss and complexity among candidate strategies: beyond how well it explains the data, a model's preference towards implementing a strategy is dictated by its complexity. This helps explain well-known ICL phenomena, while offering novel predictions: e.g., we show a superlinear trend in the timescale for transitioning from generalization to memorization as task diversity increases. Overall, our work advances an explanatory and predictive account of ICL grounded in tradeoffs between strategy loss and complexity.