Le strategie di apprendimento in contesto emergono razionalmente

In-Context Learning Strategies Emerge Rationally

June 21, 2025

Autori: Daniel Wurgaft, Ekdeep Singh Lubana, Core Francisco Park, Hidenori Tanaka, Gautam Reddy, Noah D. Goodman

cs.AI

Abstract

Recenti lavori che analizzano l'apprendimento in contesto (ICL) hanno identificato un ampio insieme di strategie che descrivono il comportamento del modello in diverse condizioni sperimentali. Il nostro obiettivo è unificare questi risultati chiedendoci perché un modello apprenda in primo luogo queste strategie disparate. Nello specifico, partiamo dall'osservazione che, quando addestrato per apprendere una miscela di compiti, come è comune nella letteratura, le strategie apprese da un modello per eseguire l'ICL possono essere catturate da una famiglia di predittori bayesiani: un predittore memorizzante, che assume un prior discreto sull'insieme di compiti visti, e un predittore generalizzante, in cui il prior corrisponde alla distribuzione sottostante dei compiti. Adottando la lente normativa dell'analisi razionale, in cui il comportamento di un apprendista è spiegato come un adattamento ottimale ai dati dati i vincoli computazionali, sviluppiamo un framework bayesiano gerarchico che predice quasi perfettamente le previsioni del prossimo token dei Transformer durante l'addestramento — senza assumere l'accesso ai suoi pesi. In questo framework, il pre-addestramento è visto come un processo di aggiornamento della probabilità a posteriori di diverse strategie, e il comportamento al momento dell'inferenza come una media ponderata a posteriori sulle previsioni di queste strategie. Il nostro framework si basa su ipotesi comuni riguardanti le dinamiche di apprendimento delle reti neurali, che rendono esplicito un compromesso tra perdita e complessità tra le strategie candidate: oltre a quanto bene una strategia spieghi i dati, la preferenza di un modello nell'implementare una strategia è dettata dalla sua complessità. Questo aiuta a spiegare fenomeni noti dell'ICL, offrendo al contempo nuove previsioni: ad esempio, mostriamo una tendenza superlineare nella scala temporale per la transizione dalla generalizzazione alla memorizzazione all'aumentare della diversità dei compiti. Nel complesso, il nostro lavoro avanza una spiegazione e una previsione dell'ICL basata su compromessi tra perdita e complessità delle strategie.

English

Recent work analyzing in-context learning (ICL) has identified a broad set of strategies that describe model behavior in different experimental conditions. We aim to unify these findings by asking why a model learns these disparate strategies in the first place. Specifically, we start with the observation that when trained to learn a mixture of tasks, as is popular in the literature, the strategies learned by a model for performing ICL can be captured by a family of Bayesian predictors: a memorizing predictor, which assumes a discrete prior on the set of seen tasks, and a generalizing predictor, where the prior matches the underlying task distribution. Adopting the normative lens of rational analysis, where a learner's behavior is explained as an optimal adaptation to data given computational constraints, we develop a hierarchical Bayesian framework that almost perfectly predicts Transformer next-token predictions throughout training -- without assuming access to its weights. Under this framework, pretraining is viewed as a process of updating the posterior probability of different strategies, and inference-time behavior as a posterior-weighted average over these strategies' predictions. Our framework draws on common assumptions about neural network learning dynamics, which make explicit a tradeoff between loss and complexity among candidate strategies: beyond how well it explains the data, a model's preference towards implementing a strategy is dictated by its complexity. This helps explain well-known ICL phenomena, while offering novel predictions: e.g., we show a superlinear trend in the timescale for transitioning from generalization to memorization as task diversity increases. Overall, our work advances an explanatory and predictive account of ICL grounded in tradeoffs between strategy loss and complexity.