Победа в игре обрезки: унифицированный подход к совместной обрезке образцов и токенов для эффективного контролируемого тонкого настройки

Winning the Pruning Gamble: A Unified Approach to Joint Sample and Token Pruning for Efficient Supervised Fine-Tuning

September 28, 2025

Авторы: Shaobo Wang, Jiaming Wang, Jiajun Zhang, Cong Wang, Yue Min, Zichen Wen, Fei Huang, Huiqiang Jiang, Junyang Lin, Dayiheng Liu, Linfeng Zhang

cs.AI

Аннотация

По мере того как контролируемая тонкая настройка (SFT) превращается из легковесного этапа пост-обучения в вычислительно интенсивную фазу, сопоставимую по масштабу с серединой обучения, эффективность использования данных становится критически важной для согласования больших языковых моделей (LLM) при ограниченных ресурсах. Существующие методы сокращения данных страдают от фрагментированного подхода: они работают либо на уровне примеров, либо на уровне токенов изолированно, не оптимизируя оба измерения совместно. Этот разрыв приводит к значительной неэффективности — высокоценные примеры могут содержать избыточные токены, а сокращение на уровне токенов часто удаляет важные инструктивные или корректирующие сигналы, встроенные в отдельные примеры. Чтобы устранить это узкое место, мы представляем плоскость Ошибка-Неопределенность (EU Plane), диагностическую структуру, которая совместно характеризует разнородную полезность обучающих данных на уровне примеров и токенов. Руководствуясь этим пониманием, мы предлагаем Квадрантную Настройку (Q-Tuning), унифицированную структуру, которая стратегически координирует сокращение примеров и токенов. Q-Tuning использует двухэтапную стратегию: сначала она выполняет сортировку на уровне примеров, чтобы сохранить примеры, богатые информативными заблуждениями или калибровочными сигналами; затем применяет асимметричную политику сокращения токенов, используя контекстно-зависимый механизм оценки для удаления менее значимых токенов исключительно из примеров с заблуждениями, сохраняя при этом калибровочные примеры целиком. Наш метод устанавливает новый эталон на пяти разнообразных бенчмарках. Примечательно, что на модели SmolLM2-1.7B Q-Tuning достигает среднего улучшения на +38\% по сравнению с базовым SFT на полных данных, используя всего 12.5\% исходных обучающих данных. Будучи первым динамическим методом сокращения данных, который стабильно превосходит обучение на полных данных, Q-Tuning предлагает практичный и масштабируемый подход для максимизации использования данных в SFT LLM при ограниченных ресурсах.

English

As supervised fine-tuning (SFT) evolves from a lightweight post-training step into a compute-intensive phase rivaling mid-training in scale, data efficiency has become critical for aligning large language models (LLMs) under tight budgets. Existing data pruning methods suffer from a fragmented design: they operate either at the sample level or the token level in isolation, failing to jointly optimize both dimensions. This disconnect leads to significant inefficiencies--high-value samples may still contain redundant tokens, while token-level pruning often discards crucial instructional or corrective signals embedded in individual examples. To address this bottleneck, we introduce the Error-Uncertainty (EU) Plane, a diagnostic framework that jointly characterizes the heterogeneous utility of training data across samples and tokens. Guided by this insight, we propose Quadrant-based Tuning (Q-Tuning), a unified framework that strategically coordinates sample pruning and token pruning. Q-Tuning employs a two-stage strategy: first, it performs sample-level triage to retain examples rich in informative misconceptions or calibration signals; second, it applies an asymmetric token-pruning policy, using a context-aware scoring mechanism to trim less salient tokens exclusively from misconception samples while preserving calibration samples in their entirety. Our method sets a new state of the art across five diverse benchmarks. Remarkably, on SmolLM2-1.7B, Q-Tuning achieves a +38\% average improvement over the full-data SFT baseline using only 12.5\% of the original training data. As the first dynamic pruning approach to consistently outperform full-data training, Q-Tuning provides a practical and scalable blueprint for maximizing data utilization in budget-constrained LLM SFT.