Auto-Instruct: Generazione Automatica e Classificazione di Istruzioni per Modelli Linguistici a Scatola Nera
Auto-Instruct: Automatic Instruction Generation and Ranking for Black-Box Language Models
October 19, 2023
Autori: Zhihan Zhang, Shuohang Wang, Wenhao Yu, Yichong Xu, Dan Iter, Qingkai Zeng, Yang Liu, Chenguang Zhu, Meng Jiang
cs.AI
Abstract
I modelli linguistici di grandi dimensioni (LLM) possono eseguire un'ampia gamma di attività seguendo istruzioni in linguaggio naturale, senza la necessità di un fine-tuning specifico per ogni compito. Sfortunatamente, le prestazioni degli LLM sono fortemente influenzate dalla qualità di queste istruzioni, e la scrittura manuale di istruzioni efficaci per ogni attività è un processo laborioso e soggettivo. In questo articolo, introduciamo Auto-Instruct, un metodo innovativo per migliorare automaticamente la qualità delle istruzioni fornite agli LLM. Il nostro metodo sfrutta la capacità generativa intrinseca degli LLM per produrre istruzioni candidate diverse per un determinato compito, e poi le classifica utilizzando un modello di valutazione addestrato su una varietà di 575 attività NLP esistenti. Negli esperimenti su 118 attività fuori dominio, Auto-Instruct supera sia le istruzioni scritte da esseri umani che i baseline esistenti di istruzioni generate da LLM. Inoltre, il nostro metodo mostra una notevole generalizzabilità anche con altri LLM che non sono stati incorporati nel suo processo di addestramento.
English
Large language models (LLMs) can perform a wide range of tasks by following
natural language instructions, without the necessity of task-specific
fine-tuning. Unfortunately, the performance of LLMs is greatly influenced by
the quality of these instructions, and manually writing effective instructions
for each task is a laborious and subjective process. In this paper, we
introduce Auto-Instruct, a novel method to automatically improve the quality of
instructions provided to LLMs. Our method leverages the inherent generative
ability of LLMs to produce diverse candidate instructions for a given task, and
then ranks them using a scoring model trained on a variety of 575 existing NLP
tasks. In experiments on 118 out-of-domain tasks, Auto-Instruct surpasses both
human-written instructions and existing baselines of LLM-generated
instructions. Furthermore, our method exhibits notable generalizability even
with other LLMs that are not incorporated into its training process.