지시 튜닝을 위한 불확실성 인식 기반 그래디언트 신호 대 잡음비 데이터 선택

초록

인스트럭션 튜닝은 대규모 언어 모델(LLM)을 적응시키기 위한 표준 패러다임이지만, 현대의 인스트럭션 데이터셋은 규모가 크고 노이즈가 많으며 중복적이어서 전체 데이터 미세 조정은 비용이 많이 들고 종종 불필요합니다. 기존 데이터 선택 방법은 비용이 많이 드는 그레이디언트 데이터 저장소를 구축하거나 약한 프록시로부터 정적 점수를 할당하는 방식으로, 진화하는 불확실성을 크게 무시하여 LLM 해석 가능성의 핵심 원천을 놓치고 있습니다. 우리는 목적에 구애받지 않는 불확실성 인식 데이터 선택 프레임워크인 GRADFILTERING을 제안합니다. 이 방법은 LoRA 앙상블을 적용한 소규모 GPT-2 프록시를 활용하고 개별 예제별 그레이디언트를 Gradient Signal-to-Noise Ratio(G-SNR) 유틸리티로 집계합니다. 우리의 방법은 대부분의 LLM-as-a-judge 평가와 인간 평가에서 무작위 서브셋 및 강력한 베이스라인을 능가하거나 동등한 성능을 보입니다. 더욱이, GRADFILTERING으로 선택된 서브셋은 동일한 컴퓨팅 예산 하에서 경쟁적인 필터보다 더 빠르게 수렴하여 불확실성 인식 스코어링의 이점을 반영합니다.

English

Instruction tuning is a standard paradigm for adapting large language models (LLMs), but modern instruction datasets are large, noisy, and redundant, making full-data fine-tuning costly and often unnecessary. Existing data selection methods either build expensive gradient datastores or assign static scores from a weak proxy, largely ignoring evolving uncertainty, and thus missing a key source of LLM interpretability. We propose GRADFILTERING, an objective-agnostic, uncertainty-aware data selection framework that utilizes a small GPT-2 proxy with a LoRA ensemble and aggregates per-example gradients into a Gradient Signal-to-Noise Ratio (G-SNR) utility. Our method matches or surpasses random subsets and strong baselines in most LLM-as-a-judge evaluations as well as in human assessment. Moreover, GRADFILTERING-selected subsets converge faster than competitive filters under the same compute budget, reflecting the benefit of uncertainty-aware scoring.

지시 튜닝을 위한 불확실성 인식 기반 그래디언트 신호 대 잡음비 데이터 선택

Uncertainty-Aware Gradient Signal-to-Noise Data Selection for Instruction Tuning

초록

Support