Auto-Instruct: Автоматическая генерация и ранжирование инструкций для чернобоксных языковых моделей
Auto-Instruct: Automatic Instruction Generation and Ranking for Black-Box Language Models
October 19, 2023
Авторы: Zhihan Zhang, Shuohang Wang, Wenhao Yu, Yichong Xu, Dan Iter, Qingkai Zeng, Yang Liu, Chenguang Zhu, Meng Jiang
cs.AI
Аннотация
Крупные языковые модели (LLM) способны выполнять широкий спектр задач, следуя инструкциям на естественном языке, без необходимости специфической дообучки для каждой задачи. К сожалению, производительность LLM сильно зависит от качества этих инструкций, а ручное написание эффективных инструкций для каждой задачи является трудоемким и субъективным процессом. В данной статье мы представляем Auto-Instruct — новый метод автоматического повышения качества инструкций, предоставляемых LLM. Наш метод использует присущую LLM способность к генерации для создания разнообразных кандидатов инструкций для заданной задачи, а затем ранжирует их с помощью модели оценки, обученной на 575 существующих задачах обработки естественного языка (NLP). В экспериментах на 118 задачах из других областей Auto-Instruct превосходит как инструкции, написанные людьми, так и существующие базовые методы генерации инструкций с помощью LLM. Более того, наш метод демонстрирует заметную обобщаемость даже при использовании с другими LLM, которые не были включены в процесс его обучения.
English
Large language models (LLMs) can perform a wide range of tasks by following
natural language instructions, without the necessity of task-specific
fine-tuning. Unfortunately, the performance of LLMs is greatly influenced by
the quality of these instructions, and manually writing effective instructions
for each task is a laborious and subjective process. In this paper, we
introduce Auto-Instruct, a novel method to automatically improve the quality of
instructions provided to LLMs. Our method leverages the inherent generative
ability of LLMs to produce diverse candidate instructions for a given task, and
then ranks them using a scoring model trained on a variety of 575 existing NLP
tasks. In experiments on 118 out-of-domain tasks, Auto-Instruct surpasses both
human-written instructions and existing baselines of LLM-generated
instructions. Furthermore, our method exhibits notable generalizability even
with other LLMs that are not incorporated into its training process.