KernelBench-X : Un Benchmark Complet pour l'Évaluation des Noyaux GPU Générés par les LLM

KernelBench-X: A Comprehensive Benchmark for Evaluating LLM-Generated GPU Kernels

May 6, 2026

Auteurs: Han Wang, Jintao Zhang, Kai Jiang, Haoxu Wang, Jianfei Chen, Jun Zhu

cs.AI

Résumé

La génération de noyaux Triton basée sur les LLM a suscité un intérêt considérable, mais une question empirique fondamentale demeure sans réponse : où cette capacité échoue-t-elle, et pourquoi ? Nous présentons KernelBench-X, un benchmark conçu pour répondre à cette question via une évaluation catégorielle de la correction sémantique et de l'efficacité matérielle sur 176 tâches réparties en 15 catégories. Notre comparaison systématique de cinq méthodes représentatives révèle trois résultats principaux. Premièrement, la structure de la tâche détermine davantage la correction que la conception de la méthode. La catégorie explique une variance de la correction sémantique près de trois fois supérieure à celle de la méthode (déviance expliquée de 9,4 % contre 3,3 %), et 72 % des tâches de Fusion échouent pour les cinq méthodes tandis que les tâches Mathématiques sont résolues systématiquement. Deuxièmement, le raffinement itératif améliore la correction, mais pas les performances. À travers les itérations de GEAK, le taux de compilation passe de 52,3 % à 68,8 % tandis que l'accélération moyenne diminue de 1,58 fois à 1,44 fois ; les noyaux nouvellement sauvés sous-performent systématiquement ceux qui sont corrects de façon persistante (accélération de 1,16 fois contre 1,58 fois entre les rounds~0 et 1). Troisièmement, la correction n'implique pas l'efficacité. 46,6 % des noyaux corrects sont plus lents que la baseline PyTorch eager, et la variance de l'accélération inter-matériel atteint 21,4 fois. Par ailleurs, la quantification reste entièrement non résolue (0 succès sur 30) malgré des taux de compilation non négligeables, révélant une méconnaissance systématique des contrats de calcul numérique plutôt que des erreurs de syntaxe superficielles. Ces résultats suggèrent que les progrès futurs dépendent de la gestion de la coordination globale, de la modélisation explicite de la précision numérique et de l'intégration de l'efficacité matérielle dans la génération. Le code est disponible à l'adresse https://github.com/BonnieW05/KernelBenchX.

English

LLM-based Triton kernel generation has attracted significant interest, yet a fundamental empirical question remains unanswered: where does this capability break down, and why? We present KernelBench-X, a benchmark designed to answer this question through category-aware evaluation of correctness and hardware efficiency across 176 tasks in 15 categories. Our systematic comparison of five representative methods yields three main findings. First, task structure determines correctness more than method design. Category explains nearly three times more variance in semantic correctness than method (9.4% vs 3.3% explained deviance), and 72% of Fusion tasks fail across all five methods while Math tasks are solved consistently. Second, iterative refinement improves correctness, but not performance. Across GEAK iterations, compile rate rises from 52.3% to 68.8% while average speedup declines from 1.58times to 1.44times; newly rescued kernels consistently underperform persistently correct ones (1.16times vs 1.58times speedup in round~0to1). Third, correctness does not imply efficiency. 46.6% of correct kernels are slower than the PyTorch eager baseline, and cross-hardware speedup variance reaches 21.4times. Besides, quantization remains completely unsolved (0/30 successes) despite non-trivial compilation rates, revealing systematic misunderstanding of numerical computation contracts rather than surface-level syntax errors. These findings suggest that future progress depends on handling global coordination, explicitly modeling numerical precision, and incorporating hardware efficiency into generation. The code is available at https://github.com/BonnieW05/KernelBenchX