Seleção de Dados para Afinação por Instrução Baseada na Relação Sinal-Ruído do Gradiente com Consciência da Incerteza

Uncertainty-Aware Gradient Signal-to-Noise Data Selection for Instruction Tuning

January 20, 2026

Autores: Zhihang Yuan, Chengyu Yue, Long Huang, Litu Ou, Lei Shi

cs.AI

Resumo

A afinação por instrução é um paradigma padrão para adaptar grandes modelos de linguagem (LLMs), mas os conjuntos de dados de instrução modernos são extensos, ruidosos e redundantes, tornando o ajuste fino com todos os dados dispendioso e frequentemente desnecessário. Os métodos de seleção de dados existentes ou constroem repositórios de dados de gradiente dispendiosos ou atribuem pontuações estáticas a partir de um proxy fraco, ignorando em grande parte a incerteza evolutiva e, assim, perdendo uma fonte chave de interpretabilidade dos LLMs. Propomos o GRADFILTERING, uma estrutura de seleção de dados agnóstica em relação ao objetivo e consciente da incerteza, que utiliza um pequeno proxy GPT-2 com um *ensemble* LoRA e agrega os gradientes por exemplo numa utilidade de Proporção Sinal-Ruído do Gradiente (G-SNR). O nosso método iguala ou supera subconjuntos aleatórios e *baselines* fortes na maioria das avaliações LLM-como-juiz, bem como na avaliação humana. Além disso, os subconjuntos selecionados pelo GRADFILTERING convergem mais rapidamente do que filtros competitivos sob o mesmo orçamento computacional, refletindo o benefício da pontuação consciente da incerteza.

English

Instruction tuning is a standard paradigm for adapting large language models (LLMs), but modern instruction datasets are large, noisy, and redundant, making full-data fine-tuning costly and often unnecessary. Existing data selection methods either build expensive gradient datastores or assign static scores from a weak proxy, largely ignoring evolving uncertainty, and thus missing a key source of LLM interpretability. We propose GRADFILTERING, an objective-agnostic, uncertainty-aware data selection framework that utilizes a small GPT-2 proxy with a LoRA ensemble and aggregates per-example gradients into a Gradient Signal-to-Noise Ratio (G-SNR) utility. Our method matches or surpasses random subsets and strong baselines in most LLM-as-a-judge evaluations as well as in human assessment. Moreover, GRADFILTERING-selected subsets converge faster than competitive filters under the same compute budget, reflecting the benefit of uncertainty-aware scoring.