Неопределенность-осознанный отбор данных на основе отношения сигнал-шум градиента для тонкой настройки инструкций
Uncertainty-Aware Gradient Signal-to-Noise Data Selection for Instruction Tuning
January 20, 2026
Авторы: Zhihang Yuan, Chengyu Yue, Long Huang, Litu Ou, Lei Shi
cs.AI
Аннотация
Настройка на инструкциях является стандартной парадигмой для адаптации больших языковых моделей (LLM), однако современные наборы данных с инструкциями отличаются большим объемом, зашумленностью и избыточностью, что делает тонкую настройку на полных данных дорогостоящей и часто излишней. Существующие методы отбора данных либо строят дорогостоящие градиентные хранилища, либо присваивают статические оценки на основе слабого прокси-моделя, в значительной степени игнорируя изменяющуюся неопределенность и тем самым упуская ключевой источник интерпретируемости LLM. Мы предлагаем GRADFILTERING — агностичный к целевой задаче и учитывающий неопределенность фреймворк для отбора данных, который использует небольшую прокси-модель GPT-2 с ансамблем LoRA и агрегирует градиенты для каждого примера в показатель полезности — отношение градиентного сигнала к шуму (G-SNR). Наш метод соответствует или превосходит случайные подвыборки и сильные базовые методы в большинстве оценок по схеме «LLM-как-эксперт», а также при оценке человеком. Более того, подвыборки, отобранные с помощью GRADFILTERING, сходятся быстрее, чем подвыборки от конкурирующих фильтров при одинаковом вычислительном бюджете, что отражает преимущество оценки, учитывающей неопределенность.
English
Instruction tuning is a standard paradigm for adapting large language models (LLMs), but modern instruction datasets are large, noisy, and redundant, making full-data fine-tuning costly and often unnecessary. Existing data selection methods either build expensive gradient datastores or assign static scores from a weak proxy, largely ignoring evolving uncertainty, and thus missing a key source of LLM interpretability. We propose GRADFILTERING, an objective-agnostic, uncertainty-aware data selection framework that utilizes a small GPT-2 proxy with a LoRA ensemble and aggregates per-example gradients into a Gradient Signal-to-Noise Ratio (G-SNR) utility. Our method matches or surpasses random subsets and strong baselines in most LLM-as-a-judge evaluations as well as in human assessment. Moreover, GRADFILTERING-selected subsets converge faster than competitive filters under the same compute budget, reflecting the benefit of uncertainty-aware scoring.