ISO-Bench: Могут ли кодирующие агенты оптимизировать рабочие нагрузки логического вывода в реальных условиях?

ISO-Bench: Can Coding Agents Optimize Real-World Inference Workloads?

February 23, 2026

Авторы: Ayush Nangia, Shikhar Mishra, Aman Gokrani, Paras Chopra

cs.AI

Аннотация

Мы представляем ISO-Bench — бенчмарк для оценки способностей кодирующих агентов решать практические задачи оптимизации логики вывода. Эти задачи взяты из vLLM и SGLang, двух наиболее популярных фреймворков для сервинга больших языковых моделей. Каждая задача предоставляет агенту кодобазу и описание узкого места, после чего агент должен создать патч для оптимизации, который оценивается в сравнении с экспертными решениями, разработанными людьми. Мы отобрали 54 задачи из принятых пул-реквестов, имеющих измеримое улучшение производительности. В то время как существующие бенчмарки широко используют метрики на основе времени выполнения, такие подходы можно обойти для прохождения тестов, не отражая истинного предназначения изменений в коде. Поэтому мы комбинируем как жесткие (основанные на выполнении), так и мягкие (основанные на LLM) метрики, чтобы показать, что обе необходимы для комплексной оценки. Оценивая как проприетарные, так и открытые кодирующие агенты, мы обнаружили, что ни один агент не доминирует во всех кодобазах. Неожиданно, агенты часто правильно определяют узкие места, но не могут реализовать рабочие решения. Мы также демонстрируем, что агенты с идентичными базовыми моделями существенно различаются, что указывает на важность каркаса системы, сопоставимую с важностью самой модели.

English

We introduce ISO-Bench, a benchmark for coding agents to test their capabilities on real-world inference optimization tasks. These tasks were taken from vLLM and SGLang, two of the most popular LLM serving frameworks. Each task provides an agent with a codebase and bottleneck description, whereby the agent must produce an optimization patch evaluated against expert human solutions. We curated 54 tasks from merged pull requests with measurable performance improvements. While existing benchmarks heavily use runtime-based metrics, such approaches can be gamed to pass tests without capturing the actual intent of the code changes. Therefore, we combine both hard (execution-based) and soft (LLM-based) metrics to show that both are necessary for complete evaluation. While evaluating both closed and open-source coding agents, we find no single agent dominates across codebases. Surprisingly, agents often identify correct bottlenecks but fail to execute working solutions. We also show that agents with identical underlying models differ substantially, suggesting scaffolding is as important as the model.