Ganar la apuesta del podado: un enfoque unificado para la poda conjunta de muestras y tokens en el ajuste fino supervisado eficiente

Winning the Pruning Gamble: A Unified Approach to Joint Sample and Token Pruning for Efficient Supervised Fine-Tuning

September 28, 2025

Autores: Shaobo Wang, Jiaming Wang, Jiajun Zhang, Cong Wang, Yue Min, Zichen Wen, Fei Huang, Huiqiang Jiang, Junyang Lin, Dayiheng Liu, Linfeng Zhang

cs.AI

Resumen

A medida que el ajuste fino supervisado (SFT, por sus siglas en inglés) evoluciona de una etapa ligera posterior al entrenamiento a una fase intensiva en cómputo que rivaliza en escala con el entrenamiento intermedio, la eficiencia de los datos se ha vuelto crítica para alinear modelos de lenguaje grandes (LLMs, por sus siglas en inglés) bajo presupuestos ajustados. Los métodos existentes de poda de datos sufren de un diseño fragmentado: operan ya sea a nivel de muestra o a nivel de token de manera aislada, sin optimizar conjuntamente ambas dimensiones. Esta desconexión conduce a ineficiencias significativas: muestras de alto valor pueden contener tokens redundantes, mientras que la poda a nivel de token a menudo descarta señales instructivas o correctivas cruciales incrustadas en ejemplos individuales. Para abordar este cuello de botella, introducimos el Plano de Error-Incertidumbre (EU, por sus siglas en inglés), un marco de diagnóstico que caracteriza conjuntamente la utilidad heterogénea de los datos de entrenamiento a través de muestras y tokens. Guiados por esta perspectiva, proponemos el Ajuste Basado en Cuadrantes (Q-Tuning), un marco unificado que coordina estratégicamente la poda de muestras y la poda de tokens. Q-Tuning emplea una estrategia de dos etapas: primero, realiza una clasificación a nivel de muestra para retener ejemplos ricos en conceptos erróneos informativos o señales de calibración; segundo, aplica una política asimétrica de poda de tokens, utilizando un mecanismo de puntuación consciente del contexto para eliminar tokens menos relevantes exclusivamente de las muestras con conceptos erróneos, mientras preserva las muestras de calibración en su totalidad. Nuestro método establece un nuevo estado del arte en cinco puntos de referencia diversos. Notablemente, en SmolLM2-1.7B, Q-Tuning logra una mejora promedio del +38\% sobre la línea base de SFT con todos los datos, utilizando solo el 12.5\% de los datos de entrenamiento originales. Como el primer enfoque de poda dinámica que supera consistentemente el entrenamiento con todos los datos, Q-Tuning proporciona un plan práctico y escalable para maximizar la utilización de datos en SFT de LLMs con presupuestos limitados.

English

As supervised fine-tuning (SFT) evolves from a lightweight post-training step into a compute-intensive phase rivaling mid-training in scale, data efficiency has become critical for aligning large language models (LLMs) under tight budgets. Existing data pruning methods suffer from a fragmented design: they operate either at the sample level or the token level in isolation, failing to jointly optimize both dimensions. This disconnect leads to significant inefficiencies--high-value samples may still contain redundant tokens, while token-level pruning often discards crucial instructional or corrective signals embedded in individual examples. To address this bottleneck, we introduce the Error-Uncertainty (EU) Plane, a diagnostic framework that jointly characterizes the heterogeneous utility of training data across samples and tokens. Guided by this insight, we propose Quadrant-based Tuning (Q-Tuning), a unified framework that strategically coordinates sample pruning and token pruning. Q-Tuning employs a two-stage strategy: first, it performs sample-level triage to retain examples rich in informative misconceptions or calibration signals; second, it applies an asymmetric token-pruning policy, using a context-aware scoring mechanism to trim less salient tokens exclusively from misconception samples while preserving calibration samples in their entirety. Our method sets a new state of the art across five diverse benchmarks. Remarkably, on SmolLM2-1.7B, Q-Tuning achieves a +38\% average improvement over the full-data SFT baseline using only 12.5\% of the original training data. As the first dynamic pruning approach to consistently outperform full-data training, Q-Tuning provides a practical and scalable blueprint for maximizing data utilization in budget-constrained LLM SFT.