Optimierung von Zusammengesetzten KI-Systemen: Ein Überblick über Methoden, Herausforderungen und Zukunftsrichtungen

Compound AI Systems Optimization: A Survey of Methods, Challenges, and Future Directions

June 9, 2025

Autoren: Yu-Ang Lee, Guan-Ting Yi, Mei-Yi Liu, Jui-Chao Lu, Guan-Bo Yang, Yun-Nung Chen

cs.AI

Zusammenfassung

Jüngste Fortschritte bei großen Sprachmodellen (LLMs) und KI-Systemen haben zu einem Paradigmenwechsel in der Gestaltung und Optimierung komplexer KI-Workflows geführt. Durch die Integration mehrerer Komponenten sind zusammengesetzte KI-Systeme zunehmend in der Lage, anspruchsvolle Aufgaben zu bewältigen. Mit der wachsenden Komplexität dieser Systeme ergeben sich jedoch neue Herausforderungen, nicht nur bei der Optimierung einzelner Komponenten, sondern auch bei der Abstimmung ihrer Interaktionen. Während traditionelle Optimierungsmethoden wie überwachtes Feinabstimmen (SFT) und bestärkendes Lernen (RL) weiterhin grundlegend bleiben, eröffnet der Einsatz von natürlichem Sprachfeedback vielversprechende neue Ansätze, insbesondere für die Optimierung nicht-differenzierbarer Systeme. Dieses Papier bietet einen systematischen Überblick über die jüngsten Fortschritte bei der Optimierung zusammengesetzter KI-Systeme, der sowohl numerische als auch sprachbasierte Techniken umfasst. Wir formalisieren das Konzept der Optimierung zusammengesetzter KI-Systeme, klassifizieren bestehende Methoden entlang mehrerer Schlüsseldimensionen und beleuchten offene Forschungsherausforderungen sowie zukünftige Richtungen in diesem sich schnell entwickelnden Feld. Eine Liste der untersuchten Arbeiten ist öffentlich unter https://github.com/MiuLab/AISysOpt-Survey verfügbar.

English

Recent advancements in large language models (LLMs) and AI systems have led to a paradigm shift in the design and optimization of complex AI workflows. By integrating multiple components, compound AI systems have become increasingly adept at performing sophisticated tasks. However, as these systems grow in complexity, new challenges arise in optimizing not only individual components but also their interactions. While traditional optimization methods such as supervised fine-tuning (SFT) and reinforcement learning (RL) remain foundational, the rise of natural language feedback introduces promising new approaches, especially for optimizing non-differentiable systems. This paper provides a systematic review of recent progress in optimizing compound AI systems, encompassing both numerical and language-based techniques. We formalize the notion of compound AI system optimization, classify existing methods along several key dimensions, and highlight open research challenges and future directions in this rapidly evolving field. A list of surveyed papers is publicly available at https://github.com/MiuLab/AISysOpt-Survey.