CrowdSelect: マルチLLMの知恵を活用した合成指示データの選択

CrowdSelect: Synthetic Instruction Data Selection with Multi-LLM Wisdom

March 3, 2025

著者: Yisen Li, Lingfeng Yang, Wenxuan Shen, Pan Zhou, Yao Wan, Weiwei Lin, Dongping Chen

cs.AI

要旨

大規模言語モデルの高度な指示追従能力を、選択されたサブセットを用いてより小さなモデルに蒸留することは、モデル学習における主流のアプローチとなっています。既存の合成指示データ選択戦略は主に単一次元の信号（報酬スコア、モデルの困惑度など）に依存しており、多様な分野にわたる指示追従の複雑さを捉えることができません。そこで、我々はより多様な信号を調査し、包括的な指示-応答ペアの特性を捉えるために、以下の2つの要素に基づいたマルチLLMの知恵を活用した3つの基礎的指標を提案します：(1)多様なLLMの応答、(2)報酬モデルの評価。これらの基礎指標を基に、応答の多様性を維持するためのクラスタリングベースのアプローチを組み込んだ統合指標であるCrowdSelectを提案します。我々の包括的な実験により、基礎指標がMT-benchとArena-Hardにおける4つのベースモデルで一貫して性能を向上させることが示されました。CrowdSelectは、全ての指標を効率的に組み込むことで、FullおよびLoRAファインチューニングの両方で最先端の性能を達成し、Llama-3.2-3b-instructにおいてArena-Hardで4.81%、MT-benchで11.1%の改善を示しました。我々の研究成果が、今後の研究において貴重な洞察をもたらすことを期待しています。コードはhttps://github.com/listentm/crowdselectで公開されています。

English

Distilling advanced Large Language Models' instruction-following capabilities into smaller models using a selected subset has become a mainstream approach in model training. While existing synthetic instruction data selection strategies rely mainly on single-dimensional signals (i.e., reward scores, model perplexity), they fail to capture the complexity of instruction-following across diverse fields. Therefore, we investigate more diverse signals to capture comprehensive instruction-response pair characteristics and propose three foundational metrics that leverage Multi-LLM wisdom, informed by (1) diverse LLM responses and (2) reward model assessment. Building upon base metrics, we propose CrowdSelect, an integrated metric incorporating a clustering-based approach to maintain response diversity. Our comprehensive experiments demonstrate that our foundation metrics consistently improve performance across 4 base models on MT-bench and Arena-Hard. CrowdSelect, efficiently incorporating all metrics, achieves state-of-the-art performance in both Full and LoRA fine-tuning, showing improvements of 4.81% on Arena-Hard and 11.1% on MT-bench with Llama-3.2-3b-instruct. We hope our findings will bring valuable insights for future research in this direction. Code are available at https://github.com/listentm/crowdselect.