ISO-Bench: ¿Pueden los agentes de codificación optimizar cargas de trabajo de inferencia del mundo real?

ISO-Bench: Can Coding Agents Optimize Real-World Inference Workloads?

February 23, 2026

Autores: Ayush Nangia, Shikhar Mishra, Aman Gokrani, Paras Chopra

cs.AI

Resumen

Presentamos ISO-Bench, un punto de referencia para agentes de programación que evalúa sus capacidades en tareas de optimización de inferencia del mundo real. Estas tareas se han extraído de vLLM y SGLang, dos de los frameworks de servicio de LLM más populares. Cada tarea proporciona al agente una base de código y una descripción del cuello de botella, mediante la cual el agente debe producir un parche de optimización que se evalúa comparándolo con soluciones humanas expertas. Seleccionamos 54 tareas a partir de *pull requests* fusionados que mostraban mejoras de rendimiento medibles. Si bien los puntos de referencia existentes utilizan en gran medida métricas basadas en tiempo de ejecución, dichos enfoques pueden ser manipulados para superar las pruebas sin capturar la intención real de los cambios en el código. Por lo tanto, combinamos métricas duras (basadas en la ejecución) y blandas (basadas en LLM) para demostrar que ambas son necesarias para una evaluación completa. Al evaluar agentes de programación tanto propietarios como de código abierto, encontramos que ningún agente domina en todas las bases de código. Sorprendentemente, los agentes a menudo identifican los cuellos de botella correctos, pero no logran ejecutar soluciones funcionales. También demostramos que los agentes con modelos subyacentes idénticos difieren sustancialmente, lo que sugiere que el *scaffolding* es tan importante como el modelo.

English

We introduce ISO-Bench, a benchmark for coding agents to test their capabilities on real-world inference optimization tasks. These tasks were taken from vLLM and SGLang, two of the most popular LLM serving frameworks. Each task provides an agent with a codebase and bottleneck description, whereby the agent must produce an optimization patch evaluated against expert human solutions. We curated 54 tasks from merged pull requests with measurable performance improvements. While existing benchmarks heavily use runtime-based metrics, such approaches can be gamed to pass tests without capturing the actual intent of the code changes. Therefore, we combine both hard (execution-based) and soft (LLM-based) metrics to show that both are necessary for complete evaluation. While evaluating both closed and open-source coding agents, we find no single agent dominates across codebases. Surprisingly, agents often identify correct bottlenecks but fail to execute working solutions. We also show that agents with identical underlying models differ substantially, suggesting scaffolding is as important as the model.