Optimalisatie van Samengestelde AI-systemen: Een Overzicht van Methoden, Uitdagingen en Toekomstige Richtingen

Compound AI Systems Optimization: A Survey of Methods, Challenges, and Future Directions

June 9, 2025

Auteurs: Yu-Ang Lee, Guan-Ting Yi, Mei-Yi Liu, Jui-Chao Lu, Guan-Bo Yang, Yun-Nung Chen

cs.AI

Samenvatting

Recente vooruitgang in grote taalmodellen (LLMs) en AI-systemen heeft geleid tot een paradigmaverschuiving in het ontwerp en de optimalisatie van complexe AI-werkstromen. Door het integreren van meerdere componenten zijn samengestelde AI-systemen steeds beter geworden in het uitvoeren van geavanceerde taken. Naarmate deze systemen echter complexer worden, ontstaan er nieuwe uitdagingen in het optimaliseren van niet alleen individuele componenten, maar ook hun onderlinge interacties. Hoewel traditionele optimalisatiemethoden zoals supervised fine-tuning (SFT) en reinforcement learning (RL) fundamenteel blijven, biedt de opkomst van feedback in natuurlijke taal veelbelovende nieuwe benaderingen, vooral voor het optimaliseren van niet-differentieerbare systemen. Dit artikel biedt een systematisch overzicht van recente vooruitgang in het optimaliseren van samengestelde AI-systemen, waarbij zowel numerieke als taalgebaseerde technieken worden behandeld. We formaliseren het concept van optimalisatie van samengestelde AI-systemen, classificeren bestaande methoden langs verschillende belangrijke dimensies, en belichten open onderzoeksuitdagingen en toekomstige richtingen in dit snel evoluerende veld. Een lijst van de onderzochte artikelen is publiekelijk beschikbaar op https://github.com/MiuLab/AISysOpt-Survey.

English

Recent advancements in large language models (LLMs) and AI systems have led to a paradigm shift in the design and optimization of complex AI workflows. By integrating multiple components, compound AI systems have become increasingly adept at performing sophisticated tasks. However, as these systems grow in complexity, new challenges arise in optimizing not only individual components but also their interactions. While traditional optimization methods such as supervised fine-tuning (SFT) and reinforcement learning (RL) remain foundational, the rise of natural language feedback introduces promising new approaches, especially for optimizing non-differentiable systems. This paper provides a systematic review of recent progress in optimizing compound AI systems, encompassing both numerical and language-based techniques. We formalize the notion of compound AI system optimization, classify existing methods along several key dimensions, and highlight open research challenges and future directions in this rapidly evolving field. A list of surveyed papers is publicly available at https://github.com/MiuLab/AISysOpt-Survey.