InstructZero: ブラックボックス大規模言語モデルのための効率的な指示最適化

要旨

大規模言語モデル（LLMs）は指示に従う性質を持っていますが、特にバックプロパゲーションが禁止されているブラックボックスLLMにおいて、異なる状況に最適な指示を見つけることは困難です。離散的な指示を直接最適化する代わりに、オープンソースのLLMに適用される低次元のソフトプロンプトを最適化し、ブラックボックスLLMのための指示を生成します。提案手法であるInstructZeroの各イテレーションでは、ソフトプロンプトがオープンソースLLMを使用して指示に変換され、その後ブラックボックスLLMに送信されてゼロショット評価が行われ、そのパフォーマンスがベイズ最適化に送られてゼロショット性能を向上させる新しいソフトプロンプトが生成されます。InstructZeroを、VicunaやChatGPTを含むさまざまなオープンソースLLMとAPIの組み合わせで評価しました。その結果、InstructZeroは多様な下流タスクにおいて、最先端の自動指示生成手法を上回る性能を示しました。コードとデータはhttps://github.com/Lichang-Chen/InstructZeroで公開されています。

English

Large language models~(LLMs) are instruction followers, but it can be challenging to find the best instruction for different situations, especially for black-box LLMs on which backpropagation is forbidden. Instead of directly optimizing the discrete instruction, we optimize a low-dimensional soft prompt applied to an open-source LLM to generate the instruction for the black-box LLM. On each iteration of the proposed method, which we call InstructZero, a soft prompt is converted into an instruction using the open-source LLM, which is then submitted to the black-box LLM for zero-shot evaluation, and the performance is sent to Bayesian optimization to produce new soft prompts improving the zero-shot performance. We evaluate InstructZero on different combinations of open-source LLMs and APIs including Vicuna and ChatGPT. Our results show that InstructZero outperforms SOTA auto-instruction methods across a variety of downstream tasks. Our code and data are publicly available at https://github.com/Lichang-Chen/InstructZero.

InstructZero: ブラックボックス大規模言語モデルのための効率的な指示最適化

InstructZero: Efficient Instruction Optimization for Black-Box Large Language Models

要旨

Support