ISO-Bench: Können Code-Agenten reale Inferenz-Workloads optimieren?
ISO-Bench: Can Coding Agents Optimize Real-World Inference Workloads?
February 23, 2026
papers.authors: Ayush Nangia, Shikhar Mishra, Aman Gokrani, Paras Chopra
cs.AI
papers.abstract
Wir stellen ISO-Bench vor, einen Benchmark für Coding-Agents, der deren Fähigkeiten bei realen Inferenz-Optimierungsaufgaben testet. Diese Aufgaben stammen aus vLLM und SGLang, zwei der beliebtesten LLM-Serving-Frameworks. Jede Aufgabe stellt einem Agenten eine Codebasis und eine Beschreibung des Engpasses bereit, wobei der Agent einen Optimierungs-Patch erstellen muss, der gegen Expertenlösungen von Menschen evaluiert wird. Wir haben 54 Aufgaben aus gemergten Pull-Requests mit messbaren Leistungsverbesserungen kuratiert. Während bestehende Benchmarks stark laufzeitbasierte Metriken verwenden, können solche Ansätze manipuliert werden, um Tests zu bestehen, ohne die eigentliche Absicht der Codeänderungen zu erfassen. Daher kombinieren wir sowohl harte (ausführungsbasierte) als auch weiche (LLM-basierte) Metriken, um zu zeigen, dass beide für eine vollständige Evaluation notwendig sind. Bei der Evaluation sowohl von Closed- als auch Open-Source-Coding-Agents stellen wir fest, dass kein einzelner Agent alle Codebasen dominiert. Überraschenderweise identifizieren Agents oft korrekte Engpässe, scheitern aber an der Umsetzung funktionierender Lösungen. Wir zeigen auch, dass Agents mit identischen zugrundeliegenden Modellen erheblich voneinander abweichen, was darauf hindeutet, dass das Scaffolding genauso wichtig ist wie das Modell.
English
We introduce ISO-Bench, a benchmark for coding agents to test their capabilities on real-world inference optimization tasks. These tasks were taken from vLLM and SGLang, two of the most popular LLM serving frameworks. Each task provides an agent with a codebase and bottleneck description, whereby the agent must produce an optimization patch evaluated against expert human solutions. We curated 54 tasks from merged pull requests with measurable performance improvements. While existing benchmarks heavily use runtime-based metrics, such approaches can be gamed to pass tests without capturing the actual intent of the code changes. Therefore, we combine both hard (execution-based) and soft (LLM-based) metrics to show that both are necessary for complete evaluation. While evaluating both closed and open-source coding agents, we find no single agent dominates across codebases. Surprisingly, agents often identify correct bottlenecks but fail to execute working solutions. We also show that agents with identical underlying models differ substantially, suggesting scaffolding is as important as the model.