Оптимизация составных систем ИИ: обзор методов, проблем и перспективных направлений

Compound AI Systems Optimization: A Survey of Methods, Challenges, and Future Directions

June 9, 2025

Авторы: Yu-Ang Lee, Guan-Ting Yi, Mei-Yi Liu, Jui-Chao Lu, Guan-Bo Yang, Yun-Nung Chen

cs.AI

Аннотация

Последние достижения в области больших языковых моделей (LLMs) и систем искусственного интеллекта привели к смене парадигмы в проектировании и оптимизации сложных AI-процессов. Благодаря интеграции множества компонентов, составные AI-системы становятся всё более эффективными в выполнении сложных задач. Однако с ростом сложности этих систем возникают новые вызовы, связанные с оптимизацией не только отдельных компонентов, но и их взаимодействий. Хотя традиционные методы оптимизации, такие как тонкая настройка с учителем (SFT) и обучение с подкреплением (RL), остаются основополагающими, появление обратной связи на естественном языке открывает перспективные новые подходы, особенно для оптимизации недифференцируемых систем. В данной статье представлен систематический обзор последних достижений в оптимизации составных AI-систем, охватывающий как численные, так и языковые методы. Мы формализуем понятие оптимизации составных AI-систем, классифицируем существующие методы по нескольким ключевым направлениям и выделяем открытые исследовательские задачи и перспективные направления в этой быстро развивающейся области. Список рассмотренных статей доступен по адресу: https://github.com/MiuLab/AISysOpt-Survey.

English

Recent advancements in large language models (LLMs) and AI systems have led to a paradigm shift in the design and optimization of complex AI workflows. By integrating multiple components, compound AI systems have become increasingly adept at performing sophisticated tasks. However, as these systems grow in complexity, new challenges arise in optimizing not only individual components but also their interactions. While traditional optimization methods such as supervised fine-tuning (SFT) and reinforcement learning (RL) remain foundational, the rise of natural language feedback introduces promising new approaches, especially for optimizing non-differentiable systems. This paper provides a systematic review of recent progress in optimizing compound AI systems, encompassing both numerical and language-based techniques. We formalize the notion of compound AI system optimization, classify existing methods along several key dimensions, and highlight open research challenges and future directions in this rapidly evolving field. A list of surveyed papers is publicly available at https://github.com/MiuLab/AISysOpt-Survey.