표적 명령어 선택에 대한 비판적 고찰: 핵심 요소(와 비핵심 요소)의 분리

초록

대규모 언어 모델(LLM)의 지시어 미세 조정은 일반적으로 대상 작업의 소규모 질의 집합을 사용하여 방대한 후보 풀에서 지시어 훈련 데이터의 하위 집합을 선택하는 과정을 포함합니다. 이러한 대상 지시어 선택에 대한 관심이 높아지고 있지만, 관련 연구는 여전히 파편화되고 불명확한 실정입니다. 방법론마다 선택 예산이 크게 다르고, 제로샷 기준선을 종종 누락하며, 핵심 구성 요소들의 기여도를 혼동하는 경우가 빈번합니다. 그 결과 실무자들은 대상 작업에 적합한 지시어를 선택하는 데 필요한 실행 가능한 지침을 확보하지 못하고 있습니다. 본 연구에서는 데이터 표현과 선택 알고리즘이라는 두 가지 핵심 요소를 분리하고 체계적으로 분석함으로써 이 분야의 명확성을 제고하고자 합니다. 우리의 프레임워크는 모델, 작업, 예산에 걸쳐 통제된 비교를 가능하게 합니다. 연구 결과, 그래디언트 기반 데이터 표현만이 질의 집합과의 유사성이 데이터셋과 모델 전반에 걸쳐 일관되게 성능을 예측하는 하위 집합을 선택하는 것으로 나타났습니다. 단일 최적 방법은 존재하지 않지만, 그래디언트 기반 표현을 탐욕적 순차 선택 알고리즘과 결합할 경우 저예산에서 평균적으로 가장 우수한 성능을 보이는 경향이 있었습니다. 다만 이러한 이점은 예산이 증가함에 따라 감소했습니다. 마지막으로, 우리는 기존의 여러 선택 알고리즘을 선택된 하위 집합과 질의 집합 간의 근사 거리 최소화의 다양한 형태로 통합하고, 새로운 일반화 경계를 통해 이 관점을 지지합니다. 더 넓게 보면, 우리의 연구 결과는 LLM 미세 조정에서 보다 원칙적인 데이터 선택을 위한 중요한 통찰과 기반을 제공합니다. 코드는 https://github.com/dcml-lab/targeted-instruction-selection 에서 확인할 수 있습니다.

English

Instruction fine-tuning of large language models (LLMs) often involves selecting a subset of instruction training data from a large candidate pool, using a small query set from the target task. Despite growing interest, the literature on targeted instruction selection remains fragmented and opaque: methods vary widely in selection budgets, often omit zero-shot baselines, and frequently entangle the contributions of key components. As a result, practitioners lack actionable guidance on selecting instructions for their target tasks. In this work, we aim to bring clarity to this landscape by disentangling and systematically analyzing the two core ingredients: data representation and selection algorithms. Our framework enables controlled comparisons across models, tasks, and budgets. We find that only gradient-based data representations choose subsets whose similarity to the query consistently predicts performance across datasets and models. While no single method dominates, gradient-based representations paired with a greedy round-robin selection algorithm tend to perform best on average at low budgets, but these benefits diminish at larger budgets. Finally, we unify several existing selection algorithms as forms of approximate distance minimization between the selected subset and the query set, and support this view with new generalization bounds. More broadly, our findings provide critical insights and a foundation for more principled data selection in LLM fine-tuning. The code is available at https://github.com/dcml-lab/targeted-instruction-selection.

표적 명령어 선택에 대한 비판적 고찰: 핵심 요소(와 비핵심 요소)의 분리

A Critical Look at Targeted Instruction Selection: Disentangling What Matters (and What Doesn't)

초록

Support