Ottimizzazione basata su LLM dei Sistemi AI Compositi: Un'Indagine

LLM-based Optimization of Compound AI Systems: A Survey

October 21, 2024

Autori: Matthieu Lin, Jenny Sheng, Andrew Zhao, Shenzhi Wang, Yang Yue, Yiran Wu, Huan Liu, Jun Liu, Gao Huang, Yong-Jin Liu

cs.AI

Abstract

In un sistema AI composto, componenti come una chiamata LLM, un recuperatore, un interprete di codice o strumenti sono interconnessi. Il comportamento del sistema è principalmente guidato da parametri come istruzioni o definizioni degli strumenti. I recenti progressi consentono l'ottimizzazione end-to-end di questi parametri utilizzando un LLM. In particolare, sfruttare un LLM come ottimizzatore è particolarmente efficiente perché evita il calcolo del gradiente e può generare codice e istruzioni complessi. Questo articolo presenta un'indagine sui principi e sulle tendenze emergenti nell'ottimizzazione basata su LLM dei sistemi AI composti. Copre archetipi dei sistemi AI composti, approcci all'ottimizzazione end-to-end basata su LLM e prospettive su direzioni future e impatti più ampi. È importante notare che questa indagine utilizza concetti dall'analisi dei programmi per fornire una visione unificata di come un ottimizzatore LLM sia sollecitato ad ottimizzare un sistema AI composto. L'elenco esaustivo dell'articolo è disponibile su https://github.com/linyuhongg/LLM-based-Optimization-of-Compound-AI-Systems.

English

In a compound AI system, components such as an LLM call, a retriever, a code interpreter, or tools are interconnected. The system's behavior is primarily driven by parameters such as instructions or tool definitions. Recent advancements enable end-to-end optimization of these parameters using an LLM. Notably, leveraging an LLM as an optimizer is particularly efficient because it avoids gradient computation and can generate complex code and instructions. This paper presents a survey of the principles and emerging trends in LLM-based optimization of compound AI systems. It covers archetypes of compound AI systems, approaches to LLM-based end-to-end optimization, and insights into future directions and broader impacts. Importantly, this survey uses concepts from program analysis to provide a unified view of how an LLM optimizer is prompted to optimize a compound AI system. The exhaustive list of paper is provided at https://github.com/linyuhongg/LLM-based-Optimization-of-Compound-AI-Systems.