KernelBench-X: Комплексный бенчмарк для оценки GPU-ядёр, сгенерированных большими языковыми моделями

KernelBench-X: A Comprehensive Benchmark for Evaluating LLM-Generated GPU Kernels

May 6, 2026

Авторы: Han Wang, Jintao Zhang, Kai Jiang, Haoxu Wang, Jianfei Chen, Jun Zhu

cs.AI

Аннотация

Генерация ядер Triton на основе больших языковых моделей привлекает значительный интерес, однако фундаментальный эмпирический вопрос остается без ответа: где проявляются пределы этой возможности и почему? Мы представляем KernelBench-X — бенчмарк, разработанный для ответа на этот вопрос посредством категориально-ориентированной оценки корректности и аппаратной эффективности на 176 задачах из 15 категорий. Наше систематическое сравнение пяти репрезентативных методов выявило три ключевых результата. Во-первых, структура задачи определяет корректность в большей степени, чем дизайн метода. Категория объясняет почти в три раза больше дисперсии в семантической корректности, чем метод (9,4% против 3,3% объясненной дисперсии), при этом 72% задач на Fusion терпят неудачу во всех пяти методах, тогда как задачи категории Math решаются стабильно. Во-вторых, итеративное уточнение улучшает корректность, но не производительность. В ходе итераций GEAK частота успешной компиляции возрастает с 52,3% до 68,8%, в то время как среднее ускорение снижается с 1,58x до 1,44x; вновь исправленные ядра стабильно показывают худшую производительность по сравнению с изначально корректными (ускорение 1,16x против 1,58x при переходе от раунда 0 к 1). В-третьих, корректность не подразумевает эффективность. 46,6% корректных ядер работают медленнее базового режима PyTorch eager, а дисперсия ускорения на разном оборудовании достигает 21,4x. Кроме того, квантование остается полностью нерешенной проблемой (0/30 успехов) несмотря на нетривиальную частоту компиляции, что указывает на систематическое непонимание контрактов численных вычислений, а не на поверхностные синтаксические ошибки. Эти результаты свидетельствуют о том, что будущий прогресс зависит от решения проблем глобальной координации, явного моделирования численной точности и учета аппаратной эффективности в процессе генерации. Код доступен по адресу https://github.com/BonnieW05/KernelBenchX.

English

LLM-based Triton kernel generation has attracted significant interest, yet a fundamental empirical question remains unanswered: where does this capability break down, and why? We present KernelBench-X, a benchmark designed to answer this question through category-aware evaluation of correctness and hardware efficiency across 176 tasks in 15 categories. Our systematic comparison of five representative methods yields three main findings. First, task structure determines correctness more than method design. Category explains nearly three times more variance in semantic correctness than method (9.4% vs 3.3% explained deviance), and 72% of Fusion tasks fail across all five methods while Math tasks are solved consistently. Second, iterative refinement improves correctness, but not performance. Across GEAK iterations, compile rate rises from 52.3% to 68.8% while average speedup declines from 1.58times to 1.44times; newly rescued kernels consistently underperform persistently correct ones (1.16times vs 1.58times speedup in round~0to1). Third, correctness does not imply efficiency. 46.6% of correct kernels are slower than the PyTorch eager baseline, and cross-hardware speedup variance reaches 21.4times. Besides, quantization remains completely unsolved (0/30 successes) despite non-trivial compilation rates, revealing systematic misunderstanding of numerical computation contracts rather than surface-level syntax errors. These findings suggest that future progress depends on handling global coordination, explicitly modeling numerical precision, and incorporating hardware efficiency into generation. The code is available at https://github.com/BonnieW05/KernelBenchX