Les benchmarks ne suffisent pas : RAMP pour l'évaluation en cours d'exécution des modèles agentiques dans les systèmes de production

Résumé

Les agents LLM évoluent rapidement, passant d’assistants de codage à des systèmes d’ingénierie logicielle autonomes. Cependant, les méthodologies d’évaluation existantes restent largement centrées sur des références statiques, isolées et à horizon court, qui ne parviennent pas à capturer la complexité dynamique des flux de travail réels en production. En conséquence, la performance sur ces références peut mal refléter la capacité pratique dans des environnements d’exécution réalistes impliquant de longues chaînes d’exécution, des interactions avec les outils, la gestion des dépendances et des boucles de rétroaction itératives. Nous présentons donc RAMP, une infrastructure ancrée dans la production pour évaluer les agents d’ingénierie logicielle à long horizon. Construit sur la plateforme intégrée YatCC, RAMP fournit une architecture d’évaluation unifiée en environnement d’exécution grâce à des interfaces d’orchestration et d’exécution standardisées. RAMP introduit des charges de travail réalistes de construction de compilateurs avec des dépendances en série et des interactions complexes de chaînes d’outils, ainsi qu’un mécanisme de récupération par étapes pour analyser le comportement d’exécution en cas d’échec partiel du flux de travail. Le cadre intègre en outre des métriques multidimensionnelles orientées vers l’utilité, qui évaluent conjointement la qualité des résultats et l’efficacité des processus. Nous menons des évaluations en environnement d’exécution sur 15 modèles grand public et observons une dégradation substantielle des capacités, qui reste largement invisible dans les références isolées conventionnelles. Les taux d’achèvement des tâches s’effondrent progressivement au fil des flux de travail en série, passant de 100 % au stade initial à seulement 20 % au stade final, tandis qu’aucun des modèles évalués ne termine avec succès l’ensemble du pipeline. L’analyse en environnement d’exécution révèle une propagation systématique des échecs et des inefficacités significatives en termes de ressources, les coûts de calcul variant jusqu’à trois ordres de grandeur entre des modèles comparables. Ces résultats suggèrent que RAMP fait progresser l’évaluation des modèles agentiques vers une évaluation continue, observable en environnement d’exécution et ancrée dans la production.

English

LLM agents are rapidly evolving from coding assistants into autonomous software engineering systems. However, existing evaluation methodologies remain largely centered on static, isolated, and short-horizon benchmarks that fail to capture the dynamic complexity of real-world production workflows. As a result, benchmark performance may poorly reflect practical capability under realistic runtime environments involving long execution chains, tool interactions, dependency management, and iterative feedback loops. We thus present RAMP, a production-grounded infrastructure for assessing long-horizon software engineering agents. Built upon the YatCC integrated platform, RAMP provides a unified runtime assessment architecture through standardized orchestration and execution interfaces. RAMP introduces realistic compiler-construction workloads with serial dependencies and complex toolchain interactions, together with a staged recovery mechanism for analyzing execution behavior under partial workflow failure. The framework further incorporates utility-oriented multi-dimensional metrics that jointly evaluate outcome quality and process efficiency. We conduct runtime assessments across 15 mainstream models and observe substantial capability degradation that remains largely invisible to conventional isolated benchmarks. Task completion rates progressively collapse across serial workflows, dropping from 100% in the initial stage to only 20% in the final stage, while none of the evaluated models successfully completes the entire pipeline. Runtime analysis reveals systematic failure propagation and significant resource inefficiencies, with computational costs differing by up to three orders of magnitude among comparable models. These findings suggest RAMP advances agentic model evaluation toward continuous, runtime-observable, and production-grounded assessment.