Otimização Baseada em LLM de Sistemas de IA Compostos: Uma Pesquisa

LLM-based Optimization of Compound AI Systems: A Survey

October 21, 2024

Autores: Matthieu Lin, Jenny Sheng, Andrew Zhao, Shenzhi Wang, Yang Yue, Yiran Wu, Huan Liu, Jun Liu, Gao Huang, Yong-Jin Liu

cs.AI

Resumo

Num sistema de IA composto, componentes como uma chamada de LLM, um recuperador, um intérprete de código ou ferramentas estão interconectados. O comportamento do sistema é principalmente impulsionado por parâmetros como instruções ou definições de ferramentas. Avanços recentes possibilitam a otimização ponta a ponta desses parâmetros usando um LLM. Notavelmente, aproveitar um LLM como otimizador é particularmente eficiente porque evita o cálculo de gradientes e pode gerar código e instruções complexas. Este artigo apresenta uma pesquisa sobre os princípios e tendências emergentes na otimização baseada em LLM de sistemas de IA compostos. Ele aborda arquétipos de sistemas de IA compostos, abordagens para otimização ponta a ponta baseada em LLM e insights sobre direções futuras e impactos mais amplos. Importante ressaltar que esta pesquisa utiliza conceitos de análise de programas para fornecer uma visão unificada de como um otimizador LLM é solicitado a otimizar um sistema de IA composto. A lista exaustiva de artigos está disponível em https://github.com/linyuhongg/LLM-based-Optimization-of-Compound-AI-Systems.

English

In a compound AI system, components such as an LLM call, a retriever, a code interpreter, or tools are interconnected. The system's behavior is primarily driven by parameters such as instructions or tool definitions. Recent advancements enable end-to-end optimization of these parameters using an LLM. Notably, leveraging an LLM as an optimizer is particularly efficient because it avoids gradient computation and can generate complex code and instructions. This paper presents a survey of the principles and emerging trends in LLM-based optimization of compound AI systems. It covers archetypes of compound AI systems, approaches to LLM-based end-to-end optimization, and insights into future directions and broader impacts. Importantly, this survey uses concepts from program analysis to provide a unified view of how an LLM optimizer is prompted to optimize a compound AI system. The exhaustive list of paper is provided at https://github.com/linyuhongg/LLM-based-Optimization-of-Compound-AI-Systems.