Selezione dei Dati per il Fine-Tuning Istruttivo Basata sul Rapporto Segnale-Rumore del Gradiente con Consapevolezza dell'Incertezza
Uncertainty-Aware Gradient Signal-to-Noise Data Selection for Instruction Tuning
January 20, 2026
Autori: Zhihang Yuan, Chengyu Yue, Long Huang, Litu Ou, Lei Shi
cs.AI
Abstract
Il tuning su istruzioni è un paradigma standard per l'adattamento di grandi modelli linguistici (LLM), ma i moderni dataset di istruzioni sono estesi, rumorosi e ridondanti, rendendo il fine-tuning su dati completi costoso e spesso non necessario. I metodi di selezione dati esistenti costruiscono datastore di gradienti computazionalmente onerosi o assegnano punteggi statici tramite un proxy debole, trascurando per lo più l'incertezza evolutiva e perdendo così una fonte chiave di interpretabilità degli LLM. Proponiamo GRADFILTERING, un framework di selezione dati agnostico rispetto all'obiettivo e consapevole dell'incertezza, che utilizza un piccolo proxy GPT-2 con un ensemble LoRA e aggrega i gradienti per esempio in un'utilità denominata Rapporto Segnale-Rumore del Gradiente (G-SNR). Il nostro metodo eguaglia o supera sottoinsiemi casuali e baseline solidi nella maggior parte delle valutazioni LLM-as-a-judge, nonché nella valutazione umana. Inoltre, i sottoinsiemi selezionati da GRADFILTERING convergono più rapidamente rispetto a filtri competitivi con lo stesso budget computazionale, riflettendo il vantaggio di una valutazione consapevole dell'incertezza.
English
Instruction tuning is a standard paradigm for adapting large language models (LLMs), but modern instruction datasets are large, noisy, and redundant, making full-data fine-tuning costly and often unnecessary. Existing data selection methods either build expensive gradient datastores or assign static scores from a weak proxy, largely ignoring evolving uncertainty, and thus missing a key source of LLM interpretability. We propose GRADFILTERING, an objective-agnostic, uncertainty-aware data selection framework that utilizes a small GPT-2 proxy with a LoRA ensemble and aggregates per-example gradients into a Gradient Signal-to-Noise Ratio (G-SNR) utility. Our method matches or surpasses random subsets and strong baselines in most LLM-as-a-judge evaluations as well as in human assessment. Moreover, GRADFILTERING-selected subsets converge faster than competitive filters under the same compute budget, reflecting the benefit of uncertainty-aware scoring.