STRIDE: Attributie van trainingsdata via schaarse reconstructie uit subsetverstoringen

Samenvatting

Trainingsdata-attributie (TDA) streeft ernaar om de voorspellingen van een model terug te leiden naar zijn trainingsdata. De gouden standaard voor TDA is gebaseerd op causale interventies, waarbij wordt waargenomen hoe een model verandert wanneer data wordt toegevoegd of verwijderd, maar herhaalde hertraining is computationeel uitdagend voor grote taalmodellen (LLM's). Bijgevolg benaderen de meeste benaderingen dit effect in de parameterruimte met behulp van gradienten. Het volgen van gradienten over miljarden parameters is echter niet alleen prohibitief duur, maar ook afhankelijk van lokale benaderingen. In dit werk stellen we een verschuiving voor: in plaats van parameterwijzigingen te schatten, modelleren we het functionele effect van trainingsdata in de activatieruimte. We introduceren STRIDE (Steering-based Training Data Influence Decomposition), een raamwerk dat TDA formuleert als een schaars reconstructieprobleem in de geest van compressieve waarneming. STRIDE leert lichtgewicht 'stuuroperatoren' die de gedragsverandering nabootsen die wordt veroorzaakt door training op datasubsets. Door te meten hoe deze operatoren testvoorspellingen verstoren, herstellen we de invloed van individuele trainingsvoorbeelden via schaarse lineaire decompositie. STRIDE bereikt de state-of-the-art voor attributie van LLM-vooropleiding, terwijl het een orde van grootte (13×) sneller is dan eerdere methoden. We valideren verder de praktische bruikbaarheid ervan via vervolgtoepassingen zoals dataselectie, datacontaminatie en kwalitatieve analyse.

English

Training Data Attribution (TDA) seeks to trace a model's predictions back to its training data. The gold standard for TDA relies on causal interventions, observing how a model changes when data is added or removed, but repeated retraining is computationally challenging for Large Language Models (LLMs). Consequently, most approaches approximate this effect in the parameter space using gradients. However, tracking gradients across billions of parameters is not only prohibitively expensive but relies on local approximations. In this work, we propose a shift: rather than estimating parameter changes, we model the functional effect of training data in the activation space. We introduce STRIDE (Steering-based Training Data Influence Decomposition), a framework that formulates TDA as a sparse recovery problem in the spirit of compressive sensing. STRIDE learns lightweight "steering operators" that mimic the behavioral shift caused by training on data subsets. By measuring how these operators perturb test predictions, we recover individual training example influences via sparse linear decomposition. STRIDE achieves state-of-the-art for LLM pre-training attribution while being an order of magnitude (13times) faster than previous art. We further validate its practical utility through downstream applications including data selection, data contamination, and qualitative analysis.