Das Pruning-Glücksspiel gewinnen: Ein einheitlicher Ansatz zur gemeinsamen Stichproben- und Token-Reduktion für effizientes überwachtes Feintuning

Winning the Pruning Gamble: A Unified Approach to Joint Sample and Token Pruning for Efficient Supervised Fine-Tuning

September 28, 2025

papers.authors: Shaobo Wang, Jiaming Wang, Jiajun Zhang, Cong Wang, Yue Min, Zichen Wen, Fei Huang, Huiqiang Jiang, Junyang Lin, Dayiheng Liu, Linfeng Zhang

cs.AI

papers.abstract

Da sich das überwachte Feinabstimmen (Supervised Fine-Tuning, SFT) von einem leichten Nachbearbeitungsschritt zu einer rechenintensiven Phase entwickelt, die in ihrem Umfang der mittleren Trainingsphase gleichkommt, ist die Dateneffizienz entscheidend geworden, um große Sprachmodelle (Large Language Models, LLMs) unter knappen Budgets auszurichten. Bestehende Methoden zur Datenreduzierung leiden unter einem fragmentierten Design: Sie operieren entweder auf der Ebene der Beispiele oder der Token isoliert und versäumen es, beide Dimensionen gemeinsam zu optimieren. Diese Trennung führt zu erheblichen Ineffizienzen – hochwertige Beispiele können immer noch redundante Token enthalten, während die Token-basierte Reduzierung oft entscheidende Anweisungs- oder Korrektursignale in einzelnen Beispielen verliert. Um diesen Engpass zu beheben, führen wir die Fehler-Unsicherheits-Ebene (Error-Uncertainty, EU) ein, ein diagnostisches Framework, das den heterogenen Nutzen von Trainingsdaten über Beispiele und Token hinweg gemeinsam charakterisiert. Aufbauend auf dieser Erkenntnis schlagen wir Quadrantenbasiertes Feinabstimmen (Quadrant-based Tuning, Q-Tuning) vor, ein einheitliches Framework, das die Beispiel- und Token-Reduzierung strategisch koordiniert. Q-Tuning verwendet eine zweistufige Strategie: Zuerst führt es eine Beispiel-basierte Triage durch, um Beispiele zu behalten, die reich an informativen Misskonzeptionen oder Kalibrierungssignalen sind; zweitens wendet es eine asymmetrische Token-Reduzierungsrichtlinie an, die einen kontextbewussten Bewertungsmechanismus nutzt, um weniger relevante Token ausschließlich aus Misskonzeptionsbeispielen zu entfernen, während Kalibrierungsbeispiele vollständig erhalten bleiben. Unsere Methode setzt einen neuen Maßstab in fünf verschiedenen Benchmarks. Bemerkenswerterweise erreicht Q-Tuning auf SmolLM2-1.7B eine durchschnittliche Verbesserung von +38\% gegenüber dem vollständigen SFT-Baseline, wobei nur 12,5\% der ursprünglichen Trainingsdaten verwendet werden. Als erste dynamische Reduzierungsmethode, die das vollständige Datentraining konsequent übertrifft, bietet Q-Tuning einen praktischen und skalierbaren Ansatz, um die Datennutzung im budgetbeschränkten LLM-SFT zu maximieren.

English

As supervised fine-tuning (SFT) evolves from a lightweight post-training step into a compute-intensive phase rivaling mid-training in scale, data efficiency has become critical for aligning large language models (LLMs) under tight budgets. Existing data pruning methods suffer from a fragmented design: they operate either at the sample level or the token level in isolation, failing to jointly optimize both dimensions. This disconnect leads to significant inefficiencies--high-value samples may still contain redundant tokens, while token-level pruning often discards crucial instructional or corrective signals embedded in individual examples. To address this bottleneck, we introduce the Error-Uncertainty (EU) Plane, a diagnostic framework that jointly characterizes the heterogeneous utility of training data across samples and tokens. Guided by this insight, we propose Quadrant-based Tuning (Q-Tuning), a unified framework that strategically coordinates sample pruning and token pruning. Q-Tuning employs a two-stage strategy: first, it performs sample-level triage to retain examples rich in informative misconceptions or calibration signals; second, it applies an asymmetric token-pruning policy, using a context-aware scoring mechanism to trim less salient tokens exclusively from misconception samples while preserving calibration samples in their entirety. Our method sets a new state of the art across five diverse benchmarks. Remarkably, on SmolLM2-1.7B, Q-Tuning achieves a +38\% average improvement over the full-data SFT baseline using only 12.5\% of the original training data. As the first dynamic pruning approach to consistently outperform full-data training, Q-Tuning provides a practical and scalable blueprint for maximizing data utilization in budget-constrained LLM SFT.