Auto-Instruct: Geração e Classificação Automática de Instruções para Modelos de Linguagem de Caixa-Preta
Auto-Instruct: Automatic Instruction Generation and Ranking for Black-Box Language Models
October 19, 2023
Autores: Zhihan Zhang, Shuohang Wang, Wenhao Yu, Yichong Xu, Dan Iter, Qingkai Zeng, Yang Liu, Chenguang Zhu, Meng Jiang
cs.AI
Resumo
Modelos de linguagem de grande escala (LLMs) podem executar uma ampla gama de tarefas seguindo instruções em linguagem natural, sem a necessidade de ajuste fino específico para cada tarefa. Infelizmente, o desempenho dos LLMs é fortemente influenciado pela qualidade dessas instruções, e a escrita manual de instruções eficazes para cada tarefa é um processo trabalhoso e subjetivo. Neste artigo, apresentamos o Auto-Instruct, um método inovador para melhorar automaticamente a qualidade das instruções fornecidas aos LLMs. Nosso método aproveita a capacidade inerente de geração dos LLMs para produzir diversas instruções candidatas para uma determinada tarefa e, em seguida, as classifica usando um modelo de pontuação treinado em uma variedade de 575 tarefas existentes de PLN. Em experimentos com 118 tarefas fora do domínio, o Auto-Instruct supera tanto as instruções escritas por humanos quanto as linhas de base existentes de instruções geradas por LLMs. Além disso, nosso método exibe uma generalização notável, mesmo com outros LLMs que não foram incorporados ao seu processo de treinamento.
English
Large language models (LLMs) can perform a wide range of tasks by following
natural language instructions, without the necessity of task-specific
fine-tuning. Unfortunately, the performance of LLMs is greatly influenced by
the quality of these instructions, and manually writing effective instructions
for each task is a laborious and subjective process. In this paper, we
introduce Auto-Instruct, a novel method to automatically improve the quality of
instructions provided to LLMs. Our method leverages the inherent generative
ability of LLMs to produce diverse candidate instructions for a given task, and
then ranks them using a scoring model trained on a variety of 575 existing NLP
tasks. In experiments on 118 out-of-domain tasks, Auto-Instruct surpasses both
human-written instructions and existing baselines of LLM-generated
instructions. Furthermore, our method exhibits notable generalizability even
with other LLMs that are not incorporated into its training process.