Оптимизация составных систем искусственного интеллекта на основе LLM: обзор

LLM-based Optimization of Compound AI Systems: A Survey

October 21, 2024

Авторы: Matthieu Lin, Jenny Sheng, Andrew Zhao, Shenzhi Wang, Yang Yue, Yiran Wu, Huan Liu, Jun Liu, Gao Huang, Yong-Jin Liu

cs.AI

Аннотация

В составной системе искусственного интеллекта компоненты, такие как LLM-вызов, извлекатель, интерпретатор кода или инструменты, взаимосвязаны. Поведение системы в основном определяется параметрами, такими как инструкции или определения инструментов. Недавние достижения позволяют осуществлять оптимизацию этих параметров от начала до конца с использованием LLM. Особенно эффективным является использование LLM в качестве оптимизатора, поскольку это позволяет избежать вычисления градиента и генерировать сложный код и инструкции. В данной статье представлен обзор принципов и новейших тенденций в области оптимизации составных систем искусственного интеллекта на основе LLM. Рассматриваются архетипы составных систем искусственного интеллекта, подходы к оптимизации от начала до конца на основе LLM, а также перспективы будущего и более широкие последствия. Важно отметить, что в данном обзоре используются концепции анализа программ для предоставления единой точки зрения на то, как LLM-оптимизатор стимулируется для оптимизации составной системы искусственного интеллекта. Полный список статей доступен по ссылке https://github.com/linyuhongg/LLM-based-Optimization-of-Compound-AI-Systems.

English

In a compound AI system, components such as an LLM call, a retriever, a code interpreter, or tools are interconnected. The system's behavior is primarily driven by parameters such as instructions or tool definitions. Recent advancements enable end-to-end optimization of these parameters using an LLM. Notably, leveraging an LLM as an optimizer is particularly efficient because it avoids gradient computation and can generate complex code and instructions. This paper presents a survey of the principles and emerging trends in LLM-based optimization of compound AI systems. It covers archetypes of compound AI systems, approaches to LLM-based end-to-end optimization, and insights into future directions and broader impacts. Importantly, this survey uses concepts from program analysis to provide a unified view of how an LLM optimizer is prompted to optimize a compound AI system. The exhaustive list of paper is provided at https://github.com/linyuhongg/LLM-based-Optimization-of-Compound-AI-Systems.