Unsicherheitsbewusste Gradienten-Signal-Rausch-Verhältnis-Datenauswahl für Instruktionsfeinabstimmung
Uncertainty-Aware Gradient Signal-to-Noise Data Selection for Instruction Tuning
January 20, 2026
papers.authors: Zhihang Yuan, Chengyu Yue, Long Huang, Litu Ou, Lei Shi
cs.AI
papers.abstract
Instruction Tuning ist ein Standardparadigma zur Anpassung großer Sprachmodelle (LLMs), doch moderne Instruktionsdatensätze sind groß, verrauscht und redundant, was Fine-Tuning mit allen Daten kostspielig und oft unnötig macht. Bestehende Methoden zur Datenauswahl erstellen entweder teure Gradient-Datastores oder weisen statische Scores über einen schwachen Proxy zu, wobei sie die sich entwickelnde Unsicherheit weitgehend ignorieren und somit eine wichtige Quelle für die Interpretierbarkeit von LLMs verpassen. Wir schlagen GRADFILTERING vor, ein zielfunktionsagnostisches, unsicherheitsbewusstes Framework zur Datenauswahl, das einen kleinen GPT-2-Proxy mit einem LoRA-Ensemble nutzt und pro Beispiel Gradienten zu einem Gradient Signal-to-Noise Ratio (G-SNR) als Nutzenmetrik aggregiert. Unsere Methode übertrifft oder erreicht zufällige Teilmengen und starke Baselines in den meisten LLM-as-a-Judge-Auswertungen sowie in menschlichen Bewertungen. Darüber hinaus konvergieren die mit GRADFILTERING ausgewählten Teilmengen schneller als wettbewerbsfähige Filter unter dem gleichen Rechenbudget, was den Vorteil unsicherheitsbewusster Bewertung widerspiegelt.
English
Instruction tuning is a standard paradigm for adapting large language models (LLMs), but modern instruction datasets are large, noisy, and redundant, making full-data fine-tuning costly and often unnecessary. Existing data selection methods either build expensive gradient datastores or assign static scores from a weak proxy, largely ignoring evolving uncertainty, and thus missing a key source of LLM interpretability. We propose GRADFILTERING, an objective-agnostic, uncertainty-aware data selection framework that utilizes a small GPT-2 proxy with a LoRA ensemble and aggregates per-example gradients into a Gradient Signal-to-Noise Ratio (G-SNR) utility. Our method matches or surpasses random subsets and strong baselines in most LLM-as-a-judge evaluations as well as in human assessment. Moreover, GRADFILTERING-selected subsets converge faster than competitive filters under the same compute budget, reflecting the benefit of uncertainty-aware scoring.