Gagner le pari de l'élagage : une approche unifiée pour l'élagage conjoint des échantillons et des tokens pour un réglage fin supervisé efficace

Winning the Pruning Gamble: A Unified Approach to Joint Sample and Token Pruning for Efficient Supervised Fine-Tuning

September 28, 2025

papers.authors: Shaobo Wang, Jiaming Wang, Jiajun Zhang, Cong Wang, Yue Min, Zichen Wen, Fei Huang, Huiqiang Jiang, Junyang Lin, Dayiheng Liu, Linfeng Zhang

cs.AI

papers.abstract

Alors que le réglage fin supervisé (SFT) évolue d'une étape légère post-formation vers une phase intensive en calcul rivalisant avec l'échelle de la formation intermédiaire, l'efficacité des données est devenue cruciale pour aligner les grands modèles de langage (LLMs) sous des budgets serrés. Les méthodes existantes d'élagage des données souffrent d'une conception fragmentée : elles opèrent soit au niveau des échantillons, soit au niveau des tokens de manière isolée, échouant à optimiser conjointement ces deux dimensions. Cette disjonction entraîne des inefficacités significatives—des échantillons de haute valeur peuvent encore contenir des tokens redondants, tandis que l'élagage au niveau des tokens élimine souvent des signaux instructifs ou correctifs cruciaux intégrés dans des exemples individuels. Pour résoudre ce goulot d'étranglement, nous introduisons le Plan Erreur-Incertitude (EU), un cadre diagnostique qui caractérise conjointement l'utilité hétérogène des données d'entraînement à travers les échantillons et les tokens. Guidé par cette intuition, nous proposons le Réglage par Quadrant (Q-Tuning), un cadre unifié qui coordonne stratégiquement l'élagage des échantillons et des tokens. Q-Tuning emploie une stratégie en deux étapes : d'abord, il effectue un triage au niveau des échantillons pour retenir les exemples riches en idées fausses informatives ou en signaux de calibration ; ensuite, il applique une politique asymétrique d'élagage des tokens, utilisant un mécanisme de notation contextuel pour éliminer les tokens moins saillants exclusivement des échantillons contenant des idées fausses tout en préservant intégralement les échantillons de calibration. Notre méthode établit un nouvel état de l'art sur cinq benchmarks divers. Remarquablement, sur SmolLM2-1.7B, Q-Tuning atteint une amélioration moyenne de +38\% par rapport à la base de référence SFT avec toutes les données, en utilisant seulement 12,5\% des données d'entraînement originales. En tant que première approche d'élagage dynamique à surpasser systématiquement l'entraînement avec toutes les données, Q-Tuning fournit un plan pratique et évolutif pour maximiser l'utilisation des données dans le SFT des LLMs sous contraintes budgétaires.

English

As supervised fine-tuning (SFT) evolves from a lightweight post-training step into a compute-intensive phase rivaling mid-training in scale, data efficiency has become critical for aligning large language models (LLMs) under tight budgets. Existing data pruning methods suffer from a fragmented design: they operate either at the sample level or the token level in isolation, failing to jointly optimize both dimensions. This disconnect leads to significant inefficiencies--high-value samples may still contain redundant tokens, while token-level pruning often discards crucial instructional or corrective signals embedded in individual examples. To address this bottleneck, we introduce the Error-Uncertainty (EU) Plane, a diagnostic framework that jointly characterizes the heterogeneous utility of training data across samples and tokens. Guided by this insight, we propose Quadrant-based Tuning (Q-Tuning), a unified framework that strategically coordinates sample pruning and token pruning. Q-Tuning employs a two-stage strategy: first, it performs sample-level triage to retain examples rich in informative misconceptions or calibration signals; second, it applies an asymmetric token-pruning policy, using a context-aware scoring mechanism to trim less salient tokens exclusively from misconception samples while preserving calibration samples in their entirety. Our method sets a new state of the art across five diverse benchmarks. Remarkably, on SmolLM2-1.7B, Q-Tuning achieves a +38\% average improvement over the full-data SFT baseline using only 12.5\% of the original training data. As the first dynamic pruning approach to consistently outperform full-data training, Q-Tuning provides a practical and scalable blueprint for maximizing data utilization in budget-constrained LLM SFT.