Selezione Efficiente dei Dati su Larga Scala tramite Distillazione dell'Influenza

Efficient Data Selection at Scale via Influence Distillation

May 25, 2025

Autori: Mahdi Nikdan, Vincent Cohen-Addad, Dan Alistarh, Vahab Mirrokni

cs.AI

Abstract

La selezione efficace dei dati è fondamentale per l'addestramento efficiente dei moderni Large Language Models (LLM). Questo articolo introduce Influence Distillation, un nuovo framework matematicamente giustificato per la selezione dei dati che utilizza informazioni di secondo ordine per ponderare in modo ottimale i campioni di addestramento. Distillando l'influenza di ciascun campione su una distribuzione target, il nostro metodo assegna pesi specifici per il modello che vengono utilizzati per selezionare i dati di addestramento per il fine-tuning degli LLM, guidandoli verso prestazioni solide nel dominio target. Deriviamo questi pesi ottimali sia per l'ottimizzatore Gradient Descent che per Adam. Per garantire scalabilità e ridurre i costi computazionali, proponiamo un'approssimazione basata su landmark: l'influenza viene calcolata con precisione per un piccolo sottoinsieme di campioni "landmark" e poi propagata efficientemente a tutti gli altri campioni per determinarne i pesi. Validiamo Influence Distillation applicandolo al tuning delle istruzioni sul dataset Tulu V2, mirando a una gamma di task tra cui GSM8k, SQuAD e MMLU, su diversi modelli delle famiglie Llama e Qwen. Gli esperimenti dimostrano che Influence Distillation eguaglia o supera le prestazioni state-of-the-art, raggiungendo una selezione fino a 3,5 volte più veloce.

English

Effective data selection is critical for efficient training of modern Large Language Models (LLMs). This paper introduces Influence Distillation, a novel, mathematically-justified framework for data selection that employs second-order information to optimally weight training samples. By distilling each sample's influence on a target distribution, our method assigns model-specific weights that are used to select training data for LLM fine-tuning, guiding it toward strong performance on the target domain. We derive these optimal weights for both Gradient Descent and Adam optimizers. To ensure scalability and reduce computational cost, we propose a landmark-based approximation: influence is precisely computed for a small subset of "landmark" samples and then efficiently propagated to all other samples to determine their weights. We validate Influence Distillation by applying it to instruction tuning on the Tulu V2 dataset, targeting a range of tasks including GSM8k, SQuAD, and MMLU, across several models from the Llama and Qwen families. Experiments show that Influence Distillation matches or outperforms state-of-the-art performance while achieving up to 3.5times faster selection.