KernelBench-X: Ein umfassender Benchmark zur Bewertung von LLM-generierten GPU-Kerneln

KernelBench-X: A Comprehensive Benchmark for Evaluating LLM-Generated GPU Kernels

May 6, 2026

Autoren: Han Wang, Jintao Zhang, Kai Jiang, Haoxu Wang, Jianfei Chen, Jun Zhu

cs.AI

Zusammenfassung

Die auf LLM basierende Triton-Kernel-Generierung hat erhebliches Interesse geweckt, doch eine grundlegende empirische Frage bleibt unbeantwortet: An welcher Stelle versagt diese Fähigkeit und warum? Wir stellen KernelBench-X vor, einen Benchmark, der diese Frage durch kategoriebewusste Auswertung von Korrektheit und Hardware-Effizienz über 176 Aufgaben in 15 Kategorien beantworten soll. Unser systematischer Vergleich von fünf repräsentativen Methoden ergibt drei Haupterkenntnisse. Erstens bestimmt die Aufgabenstruktur die Korrektheit stärker als das Methodendesign. Die Kategorie erklärt fast dreimal mehr Varianz in der semantischen Korrektheit als die Methode (9,4 % vs. 3,3 % erklärte Abweichung), und 72 % der Fusionsaufgaben scheitern bei allen fünf Methoden, während mathematische Aufgaben konsistent gelöst werden. Zweitens verbessert iterative Verfeinerung die Korrektheit, aber nicht die Leistung. Über GEAK-Iterationen hinweg steigt die Kompilierungsrate von 52,3 % auf 68,8 %, während die durchschnittliche Beschleunigung von 1,58-fach auf 1,44-fach sinkt; neu gerettete Kernel schneiden durchweg schlechter ab als durchgängig korrekte (1,16-fach vs. 1,58-fach Beschleunigung in Runde~0bis1). Drittens impliziert Korrektheit keine Effizienz. 46,6 % der korrekten Kernel sind langsamer als die PyTorch-Eager-Baseline, und die Beschleunigungsvarianz über verschiedene Hardware hinweg erreicht das 21,4-fache. Darüber hinaus bleibt Quantisierung völlig ungelöst (0/30 Erfolge) trotz nicht trivialer Kompilierungsraten, was ein systematisches Missverständnis numerischer Berechnungsvorgaben anstelle oberflächlicher Syntaxfehler offenbart. Diese Erkenntnisse legen nahe, dass künftige Fortschritte von der Bewältigung globaler Koordination, der expliziten Modellierung numerischer Präzision und der Einbeziehung von Hardware-Effizienz in die Generierung abhängen. Der Code ist verfügbar unter https://github.com/BonnieW05/KernelBenchX.

English

LLM-based Triton kernel generation has attracted significant interest, yet a fundamental empirical question remains unanswered: where does this capability break down, and why? We present KernelBench-X, a benchmark designed to answer this question through category-aware evaluation of correctness and hardware efficiency across 176 tasks in 15 categories. Our systematic comparison of five representative methods yields three main findings. First, task structure determines correctness more than method design. Category explains nearly three times more variance in semantic correctness than method (9.4% vs 3.3% explained deviance), and 72% of Fusion tasks fail across all five methods while Math tasks are solved consistently. Second, iterative refinement improves correctness, but not performance. Across GEAK iterations, compile rate rises from 52.3% to 68.8% while average speedup declines from 1.58times to 1.44times; newly rescued kernels consistently underperform persistently correct ones (1.16times vs 1.58times speedup in round~0to1). Third, correctness does not imply efficiency. 46.6% of correct kernels are slower than the PyTorch eager baseline, and cross-hardware speedup variance reaches 21.4times. Besides, quantization remains completely unsolved (0/30 successes) despite non-trivial compilation rates, revealing systematic misunderstanding of numerical computation contracts rather than surface-level syntax errors. These findings suggest that future progress depends on handling global coordination, explicitly modeling numerical precision, and incorporating hardware efficiency into generation. The code is available at https://github.com/BonnieW05/KernelBenchX