小さな言語モデルは、より優れた指示進化体です。

Smaller Language Models Are Better Instruction Evolvers

December 15, 2024

著者: Tingfeng Hui, Lulu Zhao, Guanting Dong, Yaqi Zhang, Hua Zhou, Sen Su

cs.AI

要旨

指示の調整は、大規模言語モデルの完全な潜在能力を引き出すために広く利用されています。特に、複雑で多様な指示は、さまざまな下流タスクにモデルを効果的に整列させることができるため、重要です。しかし、現在の大規模指示の構築手法は、70億を超えるパラメータを持つGPT-4などの強力なモデルを主に支持しており、このような大規模言語モデル（LLM）が本質的に強化された能力を持っているという経験的な前提の下で行われています。本研究では、この一般的な仮定に疑問を投げかけ、指示の進化の文脈で、より小規模な言語モデル（SLM）の潜在能力について詳細に探求します。指示の進化の3つのシナリオを横断する広範な実験により、小規模言語モデル（SLM）がLLMよりも効果的な指示を合成できることが明らかになりました。さらなる分析では、SLMが指示の進化中により広い出力空間を持つことが、より複雑で多様なバリアントをもたらすことが示されています。また、既存のメトリクスが指示の影響に焦点を当てていないことも観察されました。したがって、指示の複雑性を導入して元のIFDスコアに評価するIC-IFD（Instruction Complex-Aware IFD）を提案し、指示データの効果をより正確に評価します。ソースコードは以下で入手可能です：https://github.com/HypherX/Evolution-Analysis

English

Instruction tuning has been widely used to unleash the complete potential of large language models. Notably, complex and diverse instructions are of significant importance as they can effectively align models with various downstream tasks. However, current approaches to constructing large-scale instructions predominantly favour powerful models such as GPT-4 or those with over 70 billion parameters, under the empirical presumption that such larger language models (LLMs) inherently possess enhanced capabilities. In this study, we question this prevalent assumption and conduct an in-depth exploration into the potential of smaller language models (SLMs) in the context of instruction evolution. Extensive experiments across three scenarios of instruction evolution reveal that smaller language models (SLMs) can synthesize more effective instructions than LLMs. Further analysis demonstrates that SLMs possess a broader output space during instruction evolution, resulting in more complex and diverse variants. We also observe that the existing metrics fail to focus on the impact of the instructions. Thus, we propose Instruction Complex-Aware IFD (IC-IFD), which introduces instruction complexity in the original IFD score to evaluate the effectiveness of instruction data more accurately. Our source code is available at: https://github.com/HypherX/Evolution-Analysis{https://github.com/HypherX/Evolution-Analysis}