Kleinere Sprachmodelle sind bessere Instruktionsevolventen.

Smaller Language Models Are Better Instruction Evolvers

December 15, 2024

Autoren: Tingfeng Hui, Lulu Zhao, Guanting Dong, Yaqi Zhang, Hua Zhou, Sen Su

cs.AI

Zusammenfassung

Die Anpassung von Anweisungen wurde weit verbreitet eingesetzt, um das volle Potenzial großer Sprachmodelle freizusetzen. Insbesondere komplexe und vielfältige Anweisungen sind von erheblicher Bedeutung, da sie Modelle effektiv mit verschiedenen nachgelagerten Aufgaben abstimmen können. Allerdings bevorzugen aktuelle Ansätze zur Konstruktion von groß angelegten Anweisungen überwiegend leistungsstarke Modelle wie GPT-4 oder solche mit über 70 Milliarden Parametern, unter der empirischen Annahme, dass solche größeren Sprachmodelle (LLMs) inhärent verbesserte Fähigkeiten besitzen. In dieser Studie hinterfragen wir diese weit verbreitete Annahme und führen eine eingehende Untersuchung des Potenzials kleinerer Sprachmodelle (SLMs) im Kontext der Anweisungsevolution durch. Umfangreiche Experimente in drei Szenarien der Anweisungsevolution zeigen, dass kleinere Sprachmodelle (SLMs) wirksamere Anweisungen als LLMs synthetisieren können. Eine weitere Analyse zeigt, dass SLMs während der Anweisungsevolution über einen breiteren Ausgabebereich verfügen, was zu komplexeren und vielfältigeren Varianten führt. Wir beobachten auch, dass die bestehenden Metriken den Einfluss der Anweisungen nicht angemessen berücksichtigen. Daher schlagen wir Instruction Complex-Aware IFD (IC-IFD) vor, das die Anweisungskomplexität in den ursprünglichen IFD-Score einführt, um die Wirksamkeit von Anweisungsdaten genauer zu bewerten. Unser Quellcode ist verfügbar unter: https://github.com/HypherX/Evolution-Analysis.

English

Instruction tuning has been widely used to unleash the complete potential of large language models. Notably, complex and diverse instructions are of significant importance as they can effectively align models with various downstream tasks. However, current approaches to constructing large-scale instructions predominantly favour powerful models such as GPT-4 or those with over 70 billion parameters, under the empirical presumption that such larger language models (LLMs) inherently possess enhanced capabilities. In this study, we question this prevalent assumption and conduct an in-depth exploration into the potential of smaller language models (SLMs) in the context of instruction evolution. Extensive experiments across three scenarios of instruction evolution reveal that smaller language models (SLMs) can synthesize more effective instructions than LLMs. Further analysis demonstrates that SLMs possess a broader output space during instruction evolution, resulting in more complex and diverse variants. We also observe that the existing metrics fail to focus on the impact of the instructions. Thus, we propose Instruction Complex-Aware IFD (IC-IFD), which introduces instruction complexity in the original IFD score to evaluate the effectiveness of instruction data more accurately. Our source code is available at: https://github.com/HypherX/Evolution-Analysis{https://github.com/HypherX/Evolution-Analysis}