ChatPaper.aiChatPaper

Optimisation des systèmes d'IA composites : Revue des méthodes, défis et perspectives futures

Compound AI Systems Optimization: A Survey of Methods, Challenges, and Future Directions

June 9, 2025
papers.authors: Yu-Ang Lee, Guan-Ting Yi, Mei-Yi Liu, Jui-Chao Lu, Guan-Bo Yang, Yun-Nung Chen
cs.AI

papers.abstract

Les récentes avancées dans les modèles de langage de grande taille (LLMs) et les systèmes d'intelligence artificielle (IA) ont entraîné un changement de paradigme dans la conception et l'optimisation des flux de travail complexes en IA. En intégrant plusieurs composants, les systèmes d'IA composés sont devenus de plus en plus aptes à accomplir des tâches sophistiquées. Cependant, à mesure que ces systèmes gagnent en complexité, de nouveaux défis émergent pour optimiser non seulement les composants individuels, mais aussi leurs interactions. Bien que les méthodes d'optimisation traditionnelles telles que le réglage fin supervisé (SFT) et l'apprentissage par renforcement (RL) restent fondamentales, l'émergence des retours en langage naturel introduit des approches prometteuses, en particulier pour l'optimisation des systèmes non différentiables. Cet article propose une revue systématique des progrès récents dans l'optimisation des systèmes d'IA composés, englobant à la fois les techniques numériques et basées sur le langage. Nous formalisons la notion d'optimisation des systèmes d'IA composés, classifions les méthodes existantes selon plusieurs dimensions clés, et mettons en lumière les défis de recherche ouverts ainsi que les orientations futures dans ce domaine en évolution rapide. Une liste des articles examinés est disponible publiquement à l'adresse suivante : https://github.com/MiuLab/AISysOpt-Survey.
English
Recent advancements in large language models (LLMs) and AI systems have led to a paradigm shift in the design and optimization of complex AI workflows. By integrating multiple components, compound AI systems have become increasingly adept at performing sophisticated tasks. However, as these systems grow in complexity, new challenges arise in optimizing not only individual components but also their interactions. While traditional optimization methods such as supervised fine-tuning (SFT) and reinforcement learning (RL) remain foundational, the rise of natural language feedback introduces promising new approaches, especially for optimizing non-differentiable systems. This paper provides a systematic review of recent progress in optimizing compound AI systems, encompassing both numerical and language-based techniques. We formalize the notion of compound AI system optimization, classify existing methods along several key dimensions, and highlight open research challenges and future directions in this rapidly evolving field. A list of surveyed papers is publicly available at https://github.com/MiuLab/AISysOpt-Survey.
PDF103June 13, 2025