InstructZero: Effiziente Instruktionsoptimierung für Black-Box Large Language Models
InstructZero: Efficient Instruction Optimization for Black-Box Large Language Models
June 5, 2023
Autoren: Lichang Chen, Jiuhai Chen, Tom Goldstein, Heng Huang, Tianyi Zhou
cs.AI
Zusammenfassung
Große Sprachmodelle (LLMs) sind Befehlsfolger, aber es kann schwierig sein, den besten Befehl für verschiedene Situationen zu finden, insbesondere für Black-Box-LLMs, bei denen Backpropagation verboten ist. Anstatt den diskreten Befehl direkt zu optimieren, optimieren wir einen niedrigdimensionalen Soft-Prompt, der auf ein Open-Source-LLM angewendet wird, um den Befehl für das Black-Box-LLM zu generieren. Bei jeder Iteration der vorgeschlagenen Methode, die wir InstructZero nennen, wird ein Soft-Prompt mithilfe des Open-Source-LLMs in einen Befehl umgewandelt, der dann an das Black-Box-LLM zur Zero-Shot-Evaluierung übermittelt wird. Die Leistung wird an die Bayes'sche Optimierung gesendet, um neue Soft-Prompts zu erzeugen, die die Zero-Shot-Leistung verbessern. Wir evaluieren InstructZero anhand verschiedener Kombinationen von Open-Source-LLMs und APIs, einschließlich Vicuna und ChatGPT. Unsere Ergebnisse zeigen, dass InstructZero state-of-the-art Auto-Befehlsmethoden bei einer Vielzahl von Downstream-Aufgaben übertrifft. Unser Code und unsere Daten sind öffentlich unter https://github.com/Lichang-Chen/InstructZero verfügbar.
English
Large language models~(LLMs) are instruction followers, but it can be
challenging to find the best instruction for different situations, especially
for black-box LLMs on which backpropagation is forbidden. Instead of directly
optimizing the discrete instruction, we optimize a low-dimensional soft prompt
applied to an open-source LLM to generate the instruction for the black-box
LLM. On each iteration of the proposed method, which we call InstructZero, a
soft prompt is converted into an instruction using the open-source LLM, which
is then submitted to the black-box LLM for zero-shot evaluation, and the
performance is sent to Bayesian optimization to produce new soft prompts
improving the zero-shot performance. We evaluate InstructZero on different
combinations of open-source LLMs and APIs including Vicuna and ChatGPT. Our
results show that InstructZero outperforms SOTA auto-instruction methods across
a variety of downstream tasks. Our code and data are publicly available at
https://github.com/Lichang-Chen/InstructZero.