InstructZero: Ottimizzazione Efficiente delle Istruzioni per Modelli Linguistici di Grande Scala a Scatola Nera
InstructZero: Efficient Instruction Optimization for Black-Box Large Language Models
June 5, 2023
Autori: Lichang Chen, Jiuhai Chen, Tom Goldstein, Heng Huang, Tianyi Zhou
cs.AI
Abstract
I grandi modelli linguistici (LLM) sono seguaci di istruzioni, ma può essere impegnativo trovare la migliore istruzione per diverse situazioni, specialmente per LLM black-box su cui la retropropagazione è vietata. Invece di ottimizzare direttamente l'istruzione discreta, ottimizziamo un prompt soft a bassa dimensione applicato a un LLM open-source per generare l'istruzione per il LLM black-box. In ogni iterazione del metodo proposto, che chiamiamo InstructZero, un prompt soft viene convertito in un'istruzione utilizzando l'LLM open-source, che viene poi inviato al LLM black-box per una valutazione zero-shot, e le prestazioni vengono inviate all'ottimizzazione bayesiana per produrre nuovi prompt soft che migliorano le prestazioni zero-shot. Valutiamo InstructZero su diverse combinazioni di LLM open-source e API, tra cui Vicuna e ChatGPT. I nostri risultati mostrano che InstructZero supera i metodi auto-istruzione SOTA in una varietà di task downstream. Il nostro codice e i dati sono disponibili pubblicamente all'indirizzo https://github.com/Lichang-Chen/InstructZero.
English
Large language models~(LLMs) are instruction followers, but it can be
challenging to find the best instruction for different situations, especially
for black-box LLMs on which backpropagation is forbidden. Instead of directly
optimizing the discrete instruction, we optimize a low-dimensional soft prompt
applied to an open-source LLM to generate the instruction for the black-box
LLM. On each iteration of the proposed method, which we call InstructZero, a
soft prompt is converted into an instruction using the open-source LLM, which
is then submitted to the black-box LLM for zero-shot evaluation, and the
performance is sent to Bayesian optimization to produce new soft prompts
improving the zero-shot performance. We evaluate InstructZero on different
combinations of open-source LLMs and APIs including Vicuna and ChatGPT. Our
results show that InstructZero outperforms SOTA auto-instruction methods across
a variety of downstream tasks. Our code and data are publicly available at
https://github.com/Lichang-Chen/InstructZero.