メタプロンプティング：タスクに依存しない足場付けによる言語モデルの強化

Meta-Prompting: Enhancing Language Models with Task-Agnostic Scaffolding

January 23, 2024

著者: Mirac Suzgun, Adam Tauman Kalai

cs.AI

要旨

メタプロンプティングを紹介します。これは言語モデル（LM）の機能を強化するために設計された効果的な足場技法です。このアプローチにより、単一のLMを多面的な指揮者に変え、複数の独立したLMクエリを管理・統合する能力を備えさせます。高レベルの指示を用いることで、メタプロンプティングはLMに複雑なタスクをより小さく管理可能なサブタスクに分解するよう導きます。これらのサブタスクは、それぞれ特定のカスタマイズされた指示の下で動作する、同じLMの異なる「専門家」インスタンスによって処理されます。このプロセスの中心となるのは、指揮者としての役割を果たすLM自体であり、専門家モデルからの出力をシームレスに通信し効果的に統合します。さらに、LMはその内在する批判的思考と堅牢な検証プロセスを活用して、最終結果を洗練し認証します。この協調的なプロンプティングアプローチにより、単一のLMが包括的なオーケストレーターと多様な専門家パネルの両方の役割を同時に果たすことが可能になり、幅広いタスクにおけるパフォーマンスが大幅に向上します。メタプロンプティングのゼロショットかつタスク非依存の性質は、詳細なタスク固有の指示を不要にすることでユーザーインタラクションを大幅に簡素化します。さらに、私たちの研究は、Pythonインタプリタなどの外部ツールをメタプロンプティングフレームワークにシームレスに統合することを実証し、その適用性と有用性を広げています。GPT-4を用いた厳密な実験を通じて、メタプロンプティングが従来の足場技法を上回ることを確認しました：24ゲーム、ワンチェックメイト、Pythonプログラミングパズルを含む全てのタスクを平均すると、Pythonインタプリタ機能を強化したメタプロンプティングは、標準プロンプティングを17.1%、専門家（動的）プロンプティングを17.3%、マルチパーソナプロンプティングを15.2%上回りました。

English

We introduce meta-prompting, an effective scaffolding technique designed to enhance the functionality of language models (LMs). This approach transforms a single LM into a multi-faceted conductor, adept at managing and integrating multiple independent LM queries. By employing high-level instructions, meta-prompting guides the LM to break down complex tasks into smaller, more manageable subtasks. These subtasks are then handled by distinct "expert" instances of the same LM, each operating under specific, tailored instructions. Central to this process is the LM itself, in its role as the conductor, which ensures seamless communication and effective integration of the outputs from these expert models. It additionally employs its inherent critical thinking and robust verification processes to refine and authenticate the end result. This collaborative prompting approach empowers a single LM to simultaneously act as a comprehensive orchestrator and a panel of diverse experts, significantly enhancing its performance across a wide array of tasks. The zero-shot, task-agnostic nature of meta-prompting greatly simplifies user interaction by obviating the need for detailed, task-specific instructions. Furthermore, our research demonstrates the seamless integration of external tools, such as a Python interpreter, into the meta-prompting framework, thereby broadening its applicability and utility. Through rigorous experimentation with GPT-4, we establish the superiority of meta-prompting over conventional scaffolding methods: When averaged across all tasks, including the Game of 24, Checkmate-in-One, and Python Programming Puzzles, meta-prompting, augmented with a Python interpreter functionality, surpasses standard prompting by 17.1%, expert (dynamic) prompting by 17.3%, and multipersona prompting by 15.2%.