Optimización basada en LLM de Sistemas de IA Compuestos: Una Encuesta

LLM-based Optimization of Compound AI Systems: A Survey

October 21, 2024

Autores: Matthieu Lin, Jenny Sheng, Andrew Zhao, Shenzhi Wang, Yang Yue, Yiran Wu, Huan Liu, Jun Liu, Gao Huang, Yong-Jin Liu

cs.AI

Resumen

En un sistema de IA compuesto, componentes como una llamada de LLM, un recuperador, un intérprete de código o herramientas están interconectados. El comportamiento del sistema está principalmente guiado por parámetros como instrucciones o definiciones de herramientas. Avances recientes permiten la optimización de extremo a extremo de estos parámetros utilizando un LLM. Es especialmente eficiente aprovechar un LLM como optimizador porque evita el cálculo de gradientes y puede generar código e instrucciones complejas. Este artículo presenta una encuesta de los principios y tendencias emergentes en la optimización de sistemas de IA compuestos basada en LLM. Cubre arquetipos de sistemas de IA compuestos, enfoques para la optimización de extremo a extremo basada en LLM, y perspectivas sobre direcciones futuras e impactos más amplios. Es importante destacar que esta encuesta utiliza conceptos de análisis de programas para ofrecer una visión unificada de cómo se motiva a un optimizador de LLM a optimizar un sistema de IA compuesto. La lista exhaustiva de artículos se proporciona en https://github.com/linyuhongg/LLM-based-Optimization-of-Compound-AI-Systems.

English

In a compound AI system, components such as an LLM call, a retriever, a code interpreter, or tools are interconnected. The system's behavior is primarily driven by parameters such as instructions or tool definitions. Recent advancements enable end-to-end optimization of these parameters using an LLM. Notably, leveraging an LLM as an optimizer is particularly efficient because it avoids gradient computation and can generate complex code and instructions. This paper presents a survey of the principles and emerging trends in LLM-based optimization of compound AI systems. It covers archetypes of compound AI systems, approaches to LLM-based end-to-end optimization, and insights into future directions and broader impacts. Importantly, this survey uses concepts from program analysis to provide a unified view of how an LLM optimizer is prompted to optimize a compound AI system. The exhaustive list of paper is provided at https://github.com/linyuhongg/LLM-based-Optimization-of-Compound-AI-Systems.