Меньшие языковые модели лучше эволюционируют в качестве инструкций.

Smaller Language Models Are Better Instruction Evolvers

December 15, 2024

Авторы: Tingfeng Hui, Lulu Zhao, Guanting Dong, Yaqi Zhang, Hua Zhou, Sen Su

cs.AI

Аннотация

Настройка инструкций широко используется для раскрытия полного потенциала крупных языковых моделей. Особенно важны сложные и разнообразные инструкции, поскольку они могут эффективно выравнивать модели с различными последующими задачами. Однако текущие подходы к созданию крупномасштабных инструкций в основном предпочитают мощные модели, такие как GPT-4 или те, у которых более 70 миллиардов параметров, под эмпирическим предположением, что такие более крупные языковые модели (LLM) по своей природе обладают улучшенными возможностями. В данном исследовании мы оспариваем это распространенное предположение и проводим глубокое исследование потенциала более маленьких языковых моделей (SLM) в контексте эволюции инструкций. Обширные эксперименты в трех сценариях эволюции инструкций показывают, что более маленькие языковые модели (SLM) могут синтезировать более эффективные инструкции, чем LLM. Дополнительный анализ показывает, что SLM обладают более широким пространством вывода во время эволюции инструкций, что приводит к более сложным и разнообразным вариантам. Мы также замечаем, что существующие метрики не сосредотачиваются на влиянии инструкций. Поэтому мы предлагаем Инструкцию Сложности-Осознанную IFD (IC-IFD), которая вводит сложность инструкций в исходный IFD-показатель для более точной оценки эффективности данных инструкций. Наш исходный код доступен по ссылке: https://github.com/HypherX/Evolution-Analysis.

English

Instruction tuning has been widely used to unleash the complete potential of large language models. Notably, complex and diverse instructions are of significant importance as they can effectively align models with various downstream tasks. However, current approaches to constructing large-scale instructions predominantly favour powerful models such as GPT-4 or those with over 70 billion parameters, under the empirical presumption that such larger language models (LLMs) inherently possess enhanced capabilities. In this study, we question this prevalent assumption and conduct an in-depth exploration into the potential of smaller language models (SLMs) in the context of instruction evolution. Extensive experiments across three scenarios of instruction evolution reveal that smaller language models (SLMs) can synthesize more effective instructions than LLMs. Further analysis demonstrates that SLMs possess a broader output space during instruction evolution, resulting in more complex and diverse variants. We also observe that the existing metrics fail to focus on the impact of the instructions. Thus, we propose Instruction Complex-Aware IFD (IC-IFD), which introduces instruction complexity in the original IFD score to evaluate the effectiveness of instruction data more accurately. Our source code is available at: https://github.com/HypherX/Evolution-Analysis{https://github.com/HypherX/Evolution-Analysis}