Kleinere Taalmodellen zijn betere Instructie-evolueerders.

Smaller Language Models Are Better Instruction Evolvers

December 15, 2024

Auteurs: Tingfeng Hui, Lulu Zhao, Guanting Dong, Yaqi Zhang, Hua Zhou, Sen Su

cs.AI

Samenvatting

Instructieafstemming wordt veelvuldig gebruikt om het volledige potentieel van grote taalmodellen te ontketenen. Met name complexe en diverse instructies zijn van groot belang, omdat ze modellen effectief kunnen afstemmen op verschillende taken. Huidige benaderingen voor het construeren van grootschalige instructies geven echter voornamelijk de voorkeur aan krachtige modellen zoals GPT-4 of die met meer dan 70 miljard parameters, onder de empirische veronderstelling dat dergelijke grotere taalmodellen inherent verbeterde capaciteiten bezitten. In dit onderzoek stellen we deze gangbare veronderstelling ter discussie en doen we een diepgaande verkenning naar het potentieel van kleinere taalmodellen in de context van instructie-evolutie. Uitgebreide experimenten in drie scenario's van instructie-evolutie tonen aan dat kleinere taalmodellen effectievere instructies kunnen synthetiseren dan grotere taalmodellen. Verder onderzoek toont aan dat kleinere taalmodellen een breder outputbereik hebben tijdens instructie-evolutie, resulterend in meer complexe en diverse varianten. We observeren ook dat de bestaande metrieken zich niet richten op de impact van de instructies. Daarom stellen we Instruction Complex-Aware IFD (IC-IFD) voor, dat instructiecomplexiteit introduceert in de oorspronkelijke IFD-score om de effectiviteit van instructiedata nauwkeuriger te evalueren. Onze broncode is beschikbaar op: https://github.com/HypherX/Evolution-Analysis.

English

Instruction tuning has been widely used to unleash the complete potential of large language models. Notably, complex and diverse instructions are of significant importance as they can effectively align models with various downstream tasks. However, current approaches to constructing large-scale instructions predominantly favour powerful models such as GPT-4 or those with over 70 billion parameters, under the empirical presumption that such larger language models (LLMs) inherently possess enhanced capabilities. In this study, we question this prevalent assumption and conduct an in-depth exploration into the potential of smaller language models (SLMs) in the context of instruction evolution. Extensive experiments across three scenarios of instruction evolution reveal that smaller language models (SLMs) can synthesize more effective instructions than LLMs. Further analysis demonstrates that SLMs possess a broader output space during instruction evolution, resulting in more complex and diverse variants. We also observe that the existing metrics fail to focus on the impact of the instructions. Thus, we propose Instruction Complex-Aware IFD (IC-IFD), which introduces instruction complexity in the original IFD score to evaluate the effectiveness of instruction data more accurately. Our source code is available at: https://github.com/HypherX/Evolution-Analysis{https://github.com/HypherX/Evolution-Analysis}