Modelos de Linguagem Menores São Melhores Evolucionadores de Instruções

Smaller Language Models Are Better Instruction Evolvers

December 15, 2024

Autores: Tingfeng Hui, Lulu Zhao, Guanting Dong, Yaqi Zhang, Hua Zhou, Sen Su

cs.AI

Resumo

A afinação de instruções tem sido amplamente utilizada para liberar o potencial completo de grandes modelos de linguagem. Notavelmente, instruções complexas e diversas são de grande importância, pois podem alinhar efetivamente os modelos com várias tarefas subsequentes. No entanto, abordagens atuais para a construção de instruções em larga escala predominantemente favorecem modelos poderosos como o GPT-4 ou aqueles com mais de 70 bilhões de parâmetros, sob a presunção empírica de que tais modelos de linguagem maiores (LLMs) possuem inerentemente capacidades aprimoradas. Neste estudo, questionamos essa suposição prevalente e realizamos uma exploração aprofundada do potencial de modelos de linguagem menores (SLMs) no contexto da evolução de instruções. Experimentos extensivos em três cenários de evolução de instruções revelam que os modelos de linguagem menores (SLMs) podem sintetizar instruções mais eficazes do que os LLMs. Uma análise adicional demonstra que os SLMs possuem um espaço de saída mais amplo durante a evolução de instruções, resultando em variantes mais complexas e diversas. Também observamos que as métricas existentes falham em focar no impacto das instruções. Portanto, propomos o Complexo de Instrução Consciente IFD (IC-IFD), que introduz a complexidade da instrução no escore IFD original para avaliar a eficácia dos dados de instrução de forma mais precisa. Nosso código-fonte está disponível em: https://github.com/HypherX/Evolution-Analysis.

English

Instruction tuning has been widely used to unleash the complete potential of large language models. Notably, complex and diverse instructions are of significant importance as they can effectively align models with various downstream tasks. However, current approaches to constructing large-scale instructions predominantly favour powerful models such as GPT-4 or those with over 70 billion parameters, under the empirical presumption that such larger language models (LLMs) inherently possess enhanced capabilities. In this study, we question this prevalent assumption and conduct an in-depth exploration into the potential of smaller language models (SLMs) in the context of instruction evolution. Extensive experiments across three scenarios of instruction evolution reveal that smaller language models (SLMs) can synthesize more effective instructions than LLMs. Further analysis demonstrates that SLMs possess a broader output space during instruction evolution, resulting in more complex and diverse variants. We also observe that the existing metrics fail to focus on the impact of the instructions. Thus, we propose Instruction Complex-Aware IFD (IC-IFD), which introduces instruction complexity in the original IFD score to evaluate the effectiveness of instruction data more accurately. Our source code is available at: https://github.com/HypherX/Evolution-Analysis{https://github.com/HypherX/Evolution-Analysis}