Les modèles de langage plus petits sont de meilleurs évolueurs d'instructions.

Smaller Language Models Are Better Instruction Evolvers

December 15, 2024

Auteurs: Tingfeng Hui, Lulu Zhao, Guanting Dong, Yaqi Zhang, Hua Zhou, Sen Su

cs.AI

Résumé

L'optimisation des instructions a été largement utilisée pour libérer le plein potentiel des grands modèles de langage. Notamment, des instructions complexes et diverses revêtent une importance significative car elles peuvent aligner efficacement les modèles avec diverses tâches en aval. Cependant, les approches actuelles de construction d'instructions à grande échelle favorisent principalement des modèles puissants tels que GPT-4 ou ceux avec plus de 70 milliards de paramètres, sous la présomption empirique que de tels modèles de langage plus grands possèdent intrinsèquement des capacités améliorées. Dans cette étude, nous remettons en question cette hypothèse prédominante et menons une exploration approfondie du potentiel des plus petits modèles de langage dans le contexte de l'évolution des instructions. Des expériences approfondies menées dans trois scénarios d'évolution des instructions révèlent que les plus petits modèles de langage peuvent synthétiser des instructions plus efficaces que les plus grands modèles de langage. Une analyse supplémentaire démontre que les plus petits modèles de langage possèdent un espace de sortie plus large pendant l'évolution des instructions, ce qui entraîne des variantes plus complexes et diverses. Nous observons également que les métriques existantes ne se concentrent pas sur l'impact des instructions. Ainsi, nous proposons l'Indice de Fréquence Documentaire (IFD) Sensible à la Complexité des Instructions (IC-IFD), qui introduit la complexité des instructions dans le score IFD d'origine pour évaluer plus précisément l'efficacité des données d'instructions. Notre code source est disponible sur : https://github.com/HypherX/Evolution-Analysis.

English

Instruction tuning has been widely used to unleash the complete potential of large language models. Notably, complex and diverse instructions are of significant importance as they can effectively align models with various downstream tasks. However, current approaches to constructing large-scale instructions predominantly favour powerful models such as GPT-4 or those with over 70 billion parameters, under the empirical presumption that such larger language models (LLMs) inherently possess enhanced capabilities. In this study, we question this prevalent assumption and conduct an in-depth exploration into the potential of smaller language models (SLMs) in the context of instruction evolution. Extensive experiments across three scenarios of instruction evolution reveal that smaller language models (SLMs) can synthesize more effective instructions than LLMs. Further analysis demonstrates that SLMs possess a broader output space during instruction evolution, resulting in more complex and diverse variants. We also observe that the existing metrics fail to focus on the impact of the instructions. Thus, we propose Instruction Complex-Aware IFD (IC-IFD), which introduces instruction complexity in the original IFD score to evaluate the effectiveness of instruction data more accurately. Our source code is available at: https://github.com/HypherX/Evolution-Analysis{https://github.com/HypherX/Evolution-Analysis}