不確実性を考慮した勾配信号対雑音比に基づく指示チューニングのためのデータ選択

要旨

命令チューニングは大規模言語モデル（LLM）を適応させる標準的なパラダイムであるが、現代の命令データセットは大規模でノイズが多く冗長性が高いため、全データを用いたファインチューニングはコストがかかり、往々にして不必要である。既存のデータ選択手法は、高コストな勾配データストアを構築するか、弱い代理モデルから静的なスコアを割り当てるもので、変化する不確実性をほとんど考慮しておらず、したがってLLMの解釈可能性における重要な情報源を見逃している。本研究では、GRADFILTERINGを提案する。これは目的に依存せず、不確実性を考慮したデータ選択フレームワークであり、LoRAアンサンブルを適用した小規模なGPT-2代理モデルを用い、事例ごとの勾配を Gradient Signal-to-Noise Ratio (G-SNR) という有用性指標に集約する。我々の手法は、LLM-as-a-judge評価および人間評価の両方において、ランダムなサブセットや強力なベースラインを上回るか、あるいは同等の性能を発揮した。さらに、GRADFILTERINGで選択されたサブセットは、同じ計算予算の下で競合するフィルタ手法よりも高速に収束し、不確実性を考慮したスコアリングの利点を反映している。

English

Instruction tuning is a standard paradigm for adapting large language models (LLMs), but modern instruction datasets are large, noisy, and redundant, making full-data fine-tuning costly and often unnecessary. Existing data selection methods either build expensive gradient datastores or assign static scores from a weak proxy, largely ignoring evolving uncertainty, and thus missing a key source of LLM interpretability. We propose GRADFILTERING, an objective-agnostic, uncertainty-aware data selection framework that utilizes a small GPT-2 proxy with a LoRA ensemble and aggregates per-example gradients into a Gradient Signal-to-Noise Ratio (G-SNR) utility. Our method matches or surpasses random subsets and strong baselines in most LLM-as-a-judge evaluations as well as in human assessment. Moreover, GRADFILTERING-selected subsets converge faster than competitive filters under the same compute budget, reflecting the benefit of uncertainty-aware scoring.

不確実性を考慮した勾配信号対雑音比に基づく指示チューニングのためのデータ選択

Uncertainty-Aware Gradient Signal-to-Noise Data Selection for Instruction Tuning

要旨

Support