ISO-Bench : Les agents de codage peuvent-ils optimiser les charges de travail d'inférence du monde réel ?
ISO-Bench: Can Coding Agents Optimize Real-World Inference Workloads?
February 23, 2026
papers.authors: Ayush Nangia, Shikhar Mishra, Aman Gokrani, Paras Chopra
cs.AI
papers.abstract
Nous présentons ISO-Bench, un benchmark conçu pour évaluer les capacités des agents de programmation sur des tâches réelles d'optimisation d'inférence. Ces tâches sont issues de vLLM et SGLang, deux des frameworks de service LLM les plus populaires. Chaque tâche fournit à un agent une base de code et une description d'un goulot d'étranglement, l'agent devant produire un correctif d'optimisation évalué par rapport à des solutions humaines expertes. Nous avons sélectionné 54 tâches à partir de demandes de fusion validées présentant des améliorations de performances mesurables. Alors que les benchmarks existants utilisent abondamment des métriques basées sur le temps d'exécution, ces approches peuvent être contournées pour réussir les tests sans capturer l'intention réelle des modifications de code. Par conséquent, nous combinons des métriques dures (basées sur l'exécution) et douces (basées sur les LLM) pour montrer que les deux sont nécessaires à une évaluation complète. En évaluant à la fois des agents de programmation propriétaires et open-source, nous constatons qu'aucun agent unique ne domine l'ensemble des bases de code. Étonnamment, les agents identifient souvent les bons goulots d'étranglement mais échouent à exécuter des solutions fonctionnelles. Nous montrons également que des agents partageant des modèles sous-jacents identiques diffèrent substantiellement, suggérant que l'échafaudage est aussi important que le modèle lui-même.
English
We introduce ISO-Bench, a benchmark for coding agents to test their capabilities on real-world inference optimization tasks. These tasks were taken from vLLM and SGLang, two of the most popular LLM serving frameworks. Each task provides an agent with a codebase and bottleneck description, whereby the agent must produce an optimization patch evaluated against expert human solutions. We curated 54 tasks from merged pull requests with measurable performance improvements. While existing benchmarks heavily use runtime-based metrics, such approaches can be gamed to pass tests without capturing the actual intent of the code changes. Therefore, we combine both hard (execution-based) and soft (LLM-based) metrics to show that both are necessary for complete evaluation. While evaluating both closed and open-source coding agents, we find no single agent dominates across codebases. Surprisingly, agents often identify correct bottlenecks but fail to execute working solutions. We also show that agents with identical underlying models differ substantially, suggesting scaffolding is as important as the model.