ICon: 自動データ選択のためのインコンテキスト貢献度分析

ICon: In-Context Contribution for Automatic Data Selection

May 8, 2025

著者: Yixin Yang, Qingxiu Dong, Linli Yao, Fangwei Zhu, Zhifang Sui

cs.AI

要旨

命令チューニングのためのデータ選択は、大規模言語モデル（LLM）の性能向上とトレーニングコストの削減に不可欠です。しかし、既存の自動選択手法は、計算コストの高い勾配ベースの指標に依存するか、手動で設計されたヒューリスティックに頼っており、データの内在的な特性を十分に活用できない可能性があります。本論文では、In-context Learning for Contribution Measurement（ICon）を提案します。これは、勾配計算や手動の指標設計を必要とせず、in-context learning（ICL）の暗黙的なファインチューニング特性を活用してサンプルの貢献度を測定する新しい勾配不要の手法です。IConは、勾配ベースの手法に比べて計算効率が高く、ヒューリスティックベースのアプローチに内在する人間の帰納的バイアスを軽減します。IConは3つのコンポーネントで構成され、ICLを通じた暗黙的な学習下での性能変化を評価することで、高貢献度データを特定します。3つのLLM、12のベンチマーク、および5つのペアワイズ評価セットを用いた広範な実験により、IConの有効性が実証されました。特に、LLaMA3.1-8Bでは、IConで選択されたデータの15%でトレーニングされたモデルが、フルデータセットを5.42%ポイント上回り、広く使用されている選択手法の最高性能を2.06%ポイント上回りました。さらに、IConによって選択された高貢献度サンプルを分析した結果、最も難しいサンプルだけでなく、多様なタスクと適切な難易度レベルが含まれていることが明らかになりました。

English

Data selection for instruction tuning is essential for improving the performance of Large Language Models (LLMs) and reducing training cost. However, existing automated selection methods either depend on computationally expensive gradient-based measures or manually designed heuristics, which may fail to fully exploit the intrinsic attributes of data. In this paper, we propose In-context Learning for Contribution Measurement (ICon), a novel gradient-free method that takes advantage of the implicit fine-tuning nature of in-context learning (ICL) to measure sample contribution without gradient computation or manual indicators engineering. ICon offers a computationally efficient alternative to gradient-based methods and reduces human inductive bias inherent in heuristic-based approaches. ICon comprises three components and identifies high-contribution data by assessing performance shifts under implicit learning through ICL. Extensive experiments on three LLMs across 12 benchmarks and 5 pairwise evaluation sets demonstrate the effectiveness of ICon. Remarkably, on LLaMA3.1-8B, models trained on 15% of ICon-selected data outperform full datasets by 5.42% points and exceed the best performance of widely used selection methods by 2.06% points. We further analyze high-contribution samples selected by ICon, which show both diverse tasks and appropriate difficulty levels, rather than just the hardest ones.