AgentKernelArena: Generalisatiebewuste benchmarking van GPU-kerneloptimalisatieagenten

Samenvatting

GPU-kerneloptimalisatie wordt steeds crucialer voor efficiënte deep learning-systemen, maar het schrijven van hoogwaardige kernels vereist nog steeds aanzienlijke laag-niveau expertise. Recente AI-codeeragenten kunnen iteratief code lezen, compilers en profilers aanroepen en implementaties verfijnen, maar bestaande kernel-benchmarks evalueren enkele LLM-aanroepen in plaats van volledige agentworkflows, en geen enkele omvat zowel kernel-naar-kernel optimalisatie als generalisatietesten met ongeziene configuraties. We presenteren AgentKernelArena, een open-source benchmark voor het meten van AI-codeeragenten op GPU-kerneloptimalisatie. De benchmark bevat 196 taken verspreid over HIP-naar-HIP optimalisatie, Triton-naar-Triton optimalisatie en PyTorch-naar-HIP vertaling, en evalueert volledige agentworkflows in geïsoleerde werkruimten met behulp van gecontroleerde compilatie, correctheids- en prestatiecontroles, gecentraliseerde scoreberekening en een protocol voor generalisatie naar ongeziene configuraties dat test of optimalisaties overdraagbaar zijn naar invoerconfiguraties die de agent nooit heeft gezien. Bij productieagenten zoals Cursor Agent, Claude Code en Codex Agent vinden we bijna perfecte compilatie en hoge correctheidspercentages voor de meeste taakcategorieën, waarbij de sterkste configuraties gemiddelde versnellingen behalen tot 6,89x op PyTorch-naar-HIP, 6,69x op HIP-naar-HIP en 2,13x op Triton-naar-Triton taken. Onze evaluatie van ongeziene configuraties laat zien dat HIP-naar-HIP en Triton-naar-Triton optimalisaties grotendeels overdraagbaar zijn naar ongeziene invoervormen, terwijl PyTorch-naar-HIP aanzienlijke correctheidsdalingen vertoont, wat erop wijst dat agenten die kernels vanaf nul genereren vaak vorm-specifieke aannames hardcoden. AgentKernelArena is ontworpen als een modulair, uitbreidbaar raamwerk voor rigoureuze evaluatie van agentische GPU-kerneloptimalisatie over agenten, taken en hardwaredoelen heen.

English

GPU kernel optimization is increasingly critical for efficient deep learning systems, but writing high-performance kernels still requires substantial low-level expertise. Recent AI coding agents can iteratively read code, invoke compilers and profilers, and refine implementations, yet existing kernel benchmarks evaluate single LLM calls rather than full agent workflows, and none include both kernel-to-kernel optimization and unseen-configuration generalization testing. We present AgentKernelArena, an open-source benchmark for measuring AI coding agents on GPU kernel optimization. The benchmark contains 196 tasks spanning HIP-to-HIP optimization, Triton-to-Triton optimization, and PyTorch-to-HIP translation, and evaluates complete agent workflows in isolated workspaces using gated compilation, correctness, and performance checks, centralized scoring and an unseen-configuration generalization protocol that tests whether optimizations transfer to input configurations the agent never observed. Across production agents including Cursor Agent, Claude Code, and Codex Agent, we find near-perfect compilation and high correctness rates on most task categories, with the strongest configurations achieving mean speedups of up to 6.89x on PyTorch-to-HIP, 6.69x on HIP-to-HIP, and 2.13x on Triton-to-Triton tasks. Our unseen-configuration evaluation shows that HIP-to-HIP and Triton-to-Triton optimizations largely transfer to unseen input shapes, while PyTorch-to-HIP exhibits substantial correctness drops, indicating that agents generating kernels from scratch frequently hardcode shape-specific assumptions. AgentKernelArena is designed as a modular, extensible framework for rigorous evaluation of agentic GPU kernel optimization across agents, tasks, and hardware targets.