複合AIシステムのLLMベース最適化：調査

LLM-based Optimization of Compound AI Systems: A Survey

October 21, 2024

著者: Matthieu Lin, Jenny Sheng, Andrew Zhao, Shenzhi Wang, Yang Yue, Yiran Wu, Huan Liu, Jun Liu, Gao Huang, Yong-Jin Liu

cs.AI

要旨

複合AIシステムでは、LLM呼び出し、リトリーバ、コードインタープリタ、またはツールなどのコンポーネントが相互に接続されています。システムの挙動は、主に命令やツール定義などのパラメータによって駆動されます。最近の進歩により、これらのパラメータのエンドツーエンド最適化がLLMを使用して可能となりました。特筆すべきは、LLMを最適化プログラムとして活用することが非常に効率的であり、勾配計算を回避し、複雑なコードや命令を生成できる点です。本論文では、複合AIシステムのLLMに基づく最適化の原則と新興トレンドについての調査を行います。複合AIシステムのアーキタイプ、LLMに基づくエンドツーエンド最適化へのアプローチ、そして将来の方向性や広範な影響についての洞察をカバーします。重要なのは、この調査がプログラム解析の概念を用いて、LLM最適化プログラムが複合AIシステムを最適化する際にどのように促されるかを統一的に示している点です。論文の包括的なリストは以下のリンクから提供されています：https://github.com/linyuhongg/LLM-based-Optimization-of-Compound-AI-Systems.

English

In a compound AI system, components such as an LLM call, a retriever, a code interpreter, or tools are interconnected. The system's behavior is primarily driven by parameters such as instructions or tool definitions. Recent advancements enable end-to-end optimization of these parameters using an LLM. Notably, leveraging an LLM as an optimizer is particularly efficient because it avoids gradient computation and can generate complex code and instructions. This paper presents a survey of the principles and emerging trends in LLM-based optimization of compound AI systems. It covers archetypes of compound AI systems, approaches to LLM-based end-to-end optimization, and insights into future directions and broader impacts. Importantly, this survey uses concepts from program analysis to provide a unified view of how an LLM optimizer is prompted to optimize a compound AI system. The exhaustive list of paper is provided at https://github.com/linyuhongg/LLM-based-Optimization-of-Compound-AI-Systems.