Otimização de Sistemas de IA Compostos: Uma Análise de Métodos, Desafios e Direções Futuras

Compound AI Systems Optimization: A Survey of Methods, Challenges, and Future Directions

June 9, 2025

Autores: Yu-Ang Lee, Guan-Ting Yi, Mei-Yi Liu, Jui-Chao Lu, Guan-Bo Yang, Yun-Nung Chen

cs.AI

Resumo

Os recentes avanços em modelos de linguagem de grande escala (LLMs) e sistemas de IA levaram a uma mudança de paradigma no projeto e otimização de fluxos de trabalho complexos de IA. Ao integrar múltiplos componentes, os sistemas de IA compostos tornaram-se cada vez mais habilidosos na execução de tarefas sofisticadas. No entanto, à medida que esses sistemas crescem em complexidade, novos desafios surgem na otimização não apenas de componentes individuais, mas também de suas interações. Embora métodos tradicionais de otimização, como ajuste fino supervisionado (SFT) e aprendizado por reforço (RL), permaneçam fundamentais, o surgimento de feedback em linguagem natural introduz abordagens promissoras, especialmente para a otimização de sistemas não diferenciáveis. Este artigo fornece uma revisão sistemática dos progressos recentes na otimização de sistemas de IA compostos, abrangendo tanto técnicas numéricas quanto baseadas em linguagem. Formalizamos a noção de otimização de sistemas de IA compostos, classificamos os métodos existentes ao longo de várias dimensões-chave e destacamos desafios de pesquisa em aberto e direções futuras neste campo em rápida evolução. Uma lista dos artigos revisados está disponível publicamente em https://github.com/MiuLab/AISysOpt-Survey.

English

Recent advancements in large language models (LLMs) and AI systems have led to a paradigm shift in the design and optimization of complex AI workflows. By integrating multiple components, compound AI systems have become increasingly adept at performing sophisticated tasks. However, as these systems grow in complexity, new challenges arise in optimizing not only individual components but also their interactions. While traditional optimization methods such as supervised fine-tuning (SFT) and reinforcement learning (RL) remain foundational, the rise of natural language feedback introduces promising new approaches, especially for optimizing non-differentiable systems. This paper provides a systematic review of recent progress in optimizing compound AI systems, encompassing both numerical and language-based techniques. We formalize the notion of compound AI system optimization, classify existing methods along several key dimensions, and highlight open research challenges and future directions in this rapidly evolving field. A list of surveyed papers is publicly available at https://github.com/MiuLab/AISysOpt-Survey.