ChatPaper.aiChatPaper

InstructZero: Effiziente Instruktionsoptimierung für Black-Box Large Language Models

InstructZero: Efficient Instruction Optimization for Black-Box Large Language Models

June 5, 2023
Autoren: Lichang Chen, Jiuhai Chen, Tom Goldstein, Heng Huang, Tianyi Zhou
cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) sind Befehlsfolger, aber es kann schwierig sein, den besten Befehl für verschiedene Situationen zu finden, insbesondere für Black-Box-LLMs, bei denen Backpropagation verboten ist. Anstatt den diskreten Befehl direkt zu optimieren, optimieren wir einen niedrigdimensionalen Soft-Prompt, der auf ein Open-Source-LLM angewendet wird, um den Befehl für das Black-Box-LLM zu generieren. Bei jeder Iteration der vorgeschlagenen Methode, die wir InstructZero nennen, wird ein Soft-Prompt mithilfe des Open-Source-LLMs in einen Befehl umgewandelt, der dann an das Black-Box-LLM zur Zero-Shot-Evaluierung übermittelt wird. Die Leistung wird an die Bayes'sche Optimierung gesendet, um neue Soft-Prompts zu erzeugen, die die Zero-Shot-Leistung verbessern. Wir evaluieren InstructZero anhand verschiedener Kombinationen von Open-Source-LLMs und APIs, einschließlich Vicuna und ChatGPT. Unsere Ergebnisse zeigen, dass InstructZero state-of-the-art Auto-Befehlsmethoden bei einer Vielzahl von Downstream-Aufgaben übertrifft. Unser Code und unsere Daten sind öffentlich unter https://github.com/Lichang-Chen/InstructZero verfügbar.
English
Large language models~(LLMs) are instruction followers, but it can be challenging to find the best instruction for different situations, especially for black-box LLMs on which backpropagation is forbidden. Instead of directly optimizing the discrete instruction, we optimize a low-dimensional soft prompt applied to an open-source LLM to generate the instruction for the black-box LLM. On each iteration of the proposed method, which we call InstructZero, a soft prompt is converted into an instruction using the open-source LLM, which is then submitted to the black-box LLM for zero-shot evaluation, and the performance is sent to Bayesian optimization to produce new soft prompts improving the zero-shot performance. We evaluate InstructZero on different combinations of open-source LLMs and APIs including Vicuna and ChatGPT. Our results show that InstructZero outperforms SOTA auto-instruction methods across a variety of downstream tasks. Our code and data are publicly available at https://github.com/Lichang-Chen/InstructZero.
PDF50December 15, 2024