ISO-Bench: Os Agentes de Codificação Podem Otimizar Cargas de Trabalho de Inferência do Mundo Real?
ISO-Bench: Can Coding Agents Optimize Real-World Inference Workloads?
February 23, 2026
Autores: Ayush Nangia, Shikhar Mishra, Aman Gokrani, Paras Chopra
cs.AI
Resumo
Apresentamos o ISO-Bench, um benchmark para agentes de programação testarem suas capacidades em tarefas de otimização de inferência do mundo real. Essas tarefas foram extraídas do vLLM e do SGLang, duas das estruturas de serviço de LLM mais populares. Cada tarefa fornece a um agente uma base de código e uma descrição do gargalo, mediante as quais o agente deve produzir um patch de otimização avaliado em comparação com soluções humanas especializadas. Selecionamos 54 tarefas a partir de pull requests consolidados com melhorias de desempenho mensuráveis. Embora os benchmarks existentes utilizem fortemente métricas baseadas em tempo de execução, tais abordagens podem ser manipuladas para passar nos testes sem capturar a intenção real das alterações de código. Portanto, combinamos métricas duras (baseadas em execução) e suaves (baseadas em LLM) para mostrar que ambas são necessárias para uma avaliação completa. Ao avaliar agentes de programação tanto proprietários quanto de código aberto, descobrimos que nenhum agente único domina todas as bases de código. Surpreendentemente, os agentes frequentemente identificam os gargalos corretos, mas falham em executar soluções funcionais. Também demonstramos que agentes com modelos subjacentes idênticos diferem substancialmente, sugerindo que a estrutura de suporte é tão importante quanto o modelo.
English
We introduce ISO-Bench, a benchmark for coding agents to test their capabilities on real-world inference optimization tasks. These tasks were taken from vLLM and SGLang, two of the most popular LLM serving frameworks. Each task provides an agent with a codebase and bottleneck description, whereby the agent must produce an optimization patch evaluated against expert human solutions. We curated 54 tasks from merged pull requests with measurable performance improvements. While existing benchmarks heavily use runtime-based metrics, such approaches can be gamed to pass tests without capturing the actual intent of the code changes. Therefore, we combine both hard (execution-based) and soft (LLM-based) metrics to show that both are necessary for complete evaluation. While evaluating both closed and open-source coding agents, we find no single agent dominates across codebases. Surprisingly, agents often identify correct bottlenecks but fail to execute working solutions. We also show that agents with identical underlying models differ substantially, suggesting scaffolding is as important as the model.