ターゲット命令選択の批判的検討：重要な要素（と重要でない要素）の解明

要旨

大規模言語モデル（LLM）の指示ファインチューニングでは、対象タスクから抽出した少量のクエリ集合を用いて、大規模な候補プールから指示訓練データのサブセットを選択することが多い。対象を絞った指示選択に関する研究は関心が高まっているものの、その知見は断片的で不明瞭である。手法間で選択予算の設定が大きく異なり、ゼロショットベースラインが省略されることが多く、主要コンポーネントの貢献が頻繁に混同されている。この結果、実践者は自身の対象タスクに適した指示選択に関する実践的な指針を欠いている。本研究では、この状況を明確化するため、二つの核心要素、すなわちデータ表現と選択アルゴリズムを分離し、体系的に分析する。我々のフレームワークは、モデル、タスク、予算を跨いだ制御された比較を可能にする。その結果、勾配ベースのデータ表現のみが、データセットやモデルに依存せず、クエリとの類似度が性能を一貫して予測するサブセットを選択することを見出した。唯一無二の最良手法は存在しないが、低予算条件下では、勾配ベースの表現と貪欲なラウンドロビン選択アルゴリズムの組み合わせが平均的に最高の性能を示す傾向がある。ただし、この利点は予算が大きくなるにつれて減少する。最後に、既存の複数の選択アルゴリズムを、選択されたサブセットとクエリ集合間の近似的な距離最小化の一形式として統一的に捉え、この見解を新たな汎化誤差界によって支持する。より広義には、我々の知見は、LLMファインチューニングにおけるより原理に基づいたデータ選択に対する重要な洞察と基盤を提供する。コードはhttps://github.com/dcml-lab/targeted-instruction-selectionで公開されている。

English

Instruction fine-tuning of large language models (LLMs) often involves selecting a subset of instruction training data from a large candidate pool, using a small query set from the target task. Despite growing interest, the literature on targeted instruction selection remains fragmented and opaque: methods vary widely in selection budgets, often omit zero-shot baselines, and frequently entangle the contributions of key components. As a result, practitioners lack actionable guidance on selecting instructions for their target tasks. In this work, we aim to bring clarity to this landscape by disentangling and systematically analyzing the two core ingredients: data representation and selection algorithms. Our framework enables controlled comparisons across models, tasks, and budgets. We find that only gradient-based data representations choose subsets whose similarity to the query consistently predicts performance across datasets and models. While no single method dominates, gradient-based representations paired with a greedy round-robin selection algorithm tend to perform best on average at low budgets, but these benefits diminish at larger budgets. Finally, we unify several existing selection algorithms as forms of approximate distance minimization between the selected subset and the query set, and support this view with new generalization bounds. More broadly, our findings provide critical insights and a foundation for more principled data selection in LLM fine-tuning. The code is available at https://github.com/dcml-lab/targeted-instruction-selection.

ターゲット命令選択の批判的検討：重要な要素（と重要でない要素）の解明

A Critical Look at Targeted Instruction Selection: Disentangling What Matters (and What Doesn't)

要旨

Support