Agents efficaces : Développer des agents performants tout en réduisant les coûts

papers.abstract

Les capacités remarquables des agents pilotés par des modèles de langage de grande taille (LLM) ont permis à des systèmes sophistiqués de s'attaquer à des tâches complexes et multi-étapes, mais leurs coûts croissants menacent leur évolutivité et leur accessibilité. Ce travail présente la première étude systématique du compromis entre efficacité et performance dans les systèmes d'agents modernes, répondant au besoin critique de conceptions rentables sans sacrifier les performances. Nous explorons trois questions clés : (1) Quelle complexité les tâches agentiques nécessitent-elles intrinsèquement ? (2) Quand des modules supplémentaires entraînent-ils des rendements décroissants ? (3) Quelle efficacité peut-on gagner grâce à la conception de cadres d'agents optimisés ? À travers une analyse empirique sur le benchmark GAIA, nous évaluons l'impact du choix du modèle LLM de base, des conceptions de cadres d'agents et des stratégies de mise à l'échelle en temps de test. En utilisant la métrique du coût par passage, nous quantifions le compromis efficacité-performance sur ces dimensions. Nos résultats éclairent le développement d'Efficient Agents, un nouveau cadre d'agents doté d'une complexité optimale par rapport aux exigences des tâches. Efficient Agents conserve 96,7 % des performances d'OWL, l'un des principaux cadres d'agents open-source, tout en réduisant les coûts opérationnels de 0,398 à 0,228, ce qui représente une amélioration de 28,4 % du coût par passage. Notre travail fournit des insights actionnables pour concevoir des systèmes d'agents efficaces et performants, faisant progresser l'accessibilité et la durabilité des solutions pilotées par l'IA.

English

The remarkable capabilities of Large Language Model (LLM)-driven agents have enabled sophisticated systems to tackle complex, multi-step tasks, but their escalating costs threaten scalability and accessibility. This work presents the first systematic study of the efficiency-effectiveness trade-off in modern agent systems, addressing the critical need for cost-effective designs without sacrificing performance. We investigate three key questions: (1) How much complexity do agentic tasks inherently require? (2) When do additional modules yield diminishing returns? (3) How much efficiency can be gained through the design of efficient agent frameworks? Through an empirical analysis on the GAIA benchmark, we evaluate the impact of LLM backbone selection, agent framework designs, and test-time scaling strategies. Using the cost-of-pass metric, we quantify the efficiency-performance trade-off across these dimensions. Our findings inform the development of Efficient Agents , a novel agent framework that has an optimal complexity to task requirements. Efficient Agents retains 96.7% of the performance of OWL, one leading open-source agent framework, while reducing operational costs from 0.398 to 0.228, resulting in a 28.4% improvement in cost-of-pass. Our work provides actionable insights for designing efficient, high-performing agent systems, advancing the accessibility and sustainability of AI-driven solutions.

Agents efficaces : Développer des agents performants tout en réduisant les coûts

Efficient Agents: Building Effective Agents While Reducing Cost

papers.abstract

Support