In-context leerstrategieën ontstaan op rationele wijze

Samenvatting

Recent werk dat in-context learning (ICL) analyseert, heeft een breed scala aan strategieën geïdentificeerd die modelgedrag beschrijven onder verschillende experimentele omstandigheden. Wij streven ernaar deze bevindingen te verenigen door te vragen waarom een model deze uiteenlopende strategieën überhaupt leert. Specifiek beginnen we met de observatie dat, wanneer een model wordt getraind om een mix van taken te leren, zoals gebruikelijk is in de literatuur, de strategieën die het model leert voor het uitvoeren van ICL kunnen worden vastgelegd door een familie van Bayesiaanse voorspellers: een memoriserende voorspeller, die uitgaat van een discreet prior over de set van geziene taken, en een generaliserende voorspeller, waarbij het prior overeenkomt met de onderliggende taakverdeling. Door het normatieve perspectief van rationele analyse te hanteren, waarbij het gedrag van een lerend systeem wordt verklaard als een optimale aanpassing aan gegevens gegeven computationele beperkingen, ontwikkelen we een hiërarchisch Bayesiaans raamwerk dat bijna perfect de volgende-token-voorspellingen van Transformers voorspelt gedurende de training — zonder aan te nemen dat we toegang hebben tot de gewichten. Binnen dit raamwerk wordt pretraining gezien als een proces van het bijwerken van de posterior waarschijnlijkheid van verschillende strategieën, en gedrag tijdens inferentie als een posterior-gewogen gemiddelde over de voorspellingen van deze strategieën. Ons raamwerk maakt gebruik van veelvoorkomende aannames over de leer dynamiek van neurale netwerken, die een afweging expliciet maken tussen verlies en complexiteit onder kandidaat-strategieën: naast hoe goed een strategie de gegevens verklaart, wordt de voorkeur van een model voor het implementeren van een strategie bepaald door de complexiteit ervan. Dit helpt bekende ICL-fenomenen te verklaren, terwijl het ook nieuwe voorspellingen biedt: bijvoorbeeld tonen we een superlineaire trend in de tijdschaal voor de overgang van generalisatie naar memorisatie naarmate de taakdiversiteit toeneemt. Over het geheel genomen bevordert ons werk een verklarend en voorspellend begrip van ICL, geworteld in afwegingen tussen strategieverlies en complexiteit.

English

Recent work analyzing in-context learning (ICL) has identified a broad set of strategies that describe model behavior in different experimental conditions. We aim to unify these findings by asking why a model learns these disparate strategies in the first place. Specifically, we start with the observation that when trained to learn a mixture of tasks, as is popular in the literature, the strategies learned by a model for performing ICL can be captured by a family of Bayesian predictors: a memorizing predictor, which assumes a discrete prior on the set of seen tasks, and a generalizing predictor, where the prior matches the underlying task distribution. Adopting the normative lens of rational analysis, where a learner's behavior is explained as an optimal adaptation to data given computational constraints, we develop a hierarchical Bayesian framework that almost perfectly predicts Transformer next-token predictions throughout training -- without assuming access to its weights. Under this framework, pretraining is viewed as a process of updating the posterior probability of different strategies, and inference-time behavior as a posterior-weighted average over these strategies' predictions. Our framework draws on common assumptions about neural network learning dynamics, which make explicit a tradeoff between loss and complexity among candidate strategies: beyond how well it explains the data, a model's preference towards implementing a strategy is dictated by its complexity. This helps explain well-known ICL phenomena, while offering novel predictions: e.g., we show a superlinear trend in the timescale for transitioning from generalization to memorization as task diversity increases. Overall, our work advances an explanatory and predictive account of ICL grounded in tradeoffs between strategy loss and complexity.

In-context leerstrategieën ontstaan op rationele wijze

In-Context Learning Strategies Emerge Rationally

Samenvatting

Support