STRIDE: Atribuição de Dados de Treinamento via Recuperação Esparsa a partir de Perturbações em Subconjuntos

Resumo

A Atribuição de Dados de Treinamento (TDA) busca rastrear as previsões de um modelo até seus dados de treinamento. O padrão ouro para TDA baseia-se em intervenções causais, observando como um modelo muda quando dados são adicionados ou removidos, mas o retreinamento repetido é computacionalmente desafiador para Modelos de Linguagem de Grande Porte (LLMs). Consequentemente, a maioria das abordagens aproxima esse efeito no espaço de parâmetros usando gradientes. No entanto, rastrear gradientes através de bilhões de parâmetros não é apenas proibitivamente caro, mas também depende de aproximações locais. Neste trabalho, propomos uma mudança: em vez de estimar mudanças nos parâmetros, modelamos o efeito funcional dos dados de treinamento no espaço de ativações. Apresentamos o STRIDE (Decomposição de Influência de Dados de Treinamento Baseada em Direcionamento), uma estrutura que formula a TDA como um problema de recuperação esparsa no espírito da compressão de sensoriamento. O STRIDE aprende "operadores de direcionamento" leves que imitam a mudança comportamental causada pelo treinamento em subconjuntos de dados. Ao medir como esses operadores perturbam as previsões de teste, recuperamos as influências individuais de exemplos de treinamento por meio de decomposição linear esparsa. O STRIDE atinge o estado da arte para atribuição de pré-treinamento de LLM, sendo uma ordem de magnitude (13 vezes) mais rápido que trabalhos anteriores. Validamos ainda sua utilidade prática por meio de aplicações downstream, incluindo seleção de dados, contaminação de dados e análise qualitativa.

English

Training Data Attribution (TDA) seeks to trace a model's predictions back to its training data. The gold standard for TDA relies on causal interventions, observing how a model changes when data is added or removed, but repeated retraining is computationally challenging for Large Language Models (LLMs). Consequently, most approaches approximate this effect in the parameter space using gradients. However, tracking gradients across billions of parameters is not only prohibitively expensive but relies on local approximations. In this work, we propose a shift: rather than estimating parameter changes, we model the functional effect of training data in the activation space. We introduce STRIDE (Steering-based Training Data Influence Decomposition), a framework that formulates TDA as a sparse recovery problem in the spirit of compressive sensing. STRIDE learns lightweight "steering operators" that mimic the behavioral shift caused by training on data subsets. By measuring how these operators perturb test predictions, we recover individual training example influences via sparse linear decomposition. STRIDE achieves state-of-the-art for LLM pre-training attribution while being an order of magnitude (13times) faster than previous art. We further validate its practical utility through downstream applications including data selection, data contamination, and qualitative analysis.