KernelBench-X: Um Benchmark Abrangente para Avaliação de Kernels de GPU Gerados por LLMs

Resumo

A geração de kernels Triton baseada em LLMs tem atraído interesse significativo, mas uma questão empírica fundamental permanece sem resposta: onde essa capacidade falha e por quê? Apresentamos o KernelBench-X, um benchmark projetado para responder a essa questão por meio de avaliação consciente da categoria, analisando correção semântica e eficiência de hardware em 176 tarefas de 15 categorias. Nossa comparação sistemática de cinco métodos representativos produz três descobertas principais. Primeiro, a estrutura da tarefa determina a correção mais do que o design do método. A categoria explica quase três vezes mais variância na correção semântica do que o método (9,4% vs. 3,3% de desvio explicado), e 72% das tarefas de Fusão falham em todos os cinco métodos, enquanto tarefas de Matemática são resolvidas consistentemente. Segundo, o refinamento iterativo melhora a correção, mas não o desempenho. Através das iterações do GEAK, a taxa de compilação sobe de 52,3% para 68,8%, enquanto a aceleração média diminui de 1,58x para 1,44x; kernels recém-resgatados têm desempenho consistentemente inferior aos persistentemente corretos (aceleração de 1,16x vs. 1,58x na rodada~0para1). Terceiro, correção não implica eficiência. 46,6% dos kernels corretos são mais lentos que a linha de base eager do PyTorch, e a variância de aceleração entre hardwares chega a 21,4x. Além disso, a quantização permanece completamente não resolvida (0/30 sucessos) apesar de taxas de compilação não triviais, revelando um mal-entendido sistemático dos contratos de computação numérica, e não apenas erros de sintaxe superficiais. Essas descobertas sugerem que o progresso futuro depende de lidar com a coordenação global, modelar explicitamente a precisão numérica e incorporar a eficiência de hardware na geração. O código está disponível em https://github.com/BonnieW05/KernelBenchX.

English

LLM-based Triton kernel generation has attracted significant interest, yet a fundamental empirical question remains unanswered: where does this capability break down, and why? We present KernelBench-X, a benchmark designed to answer this question through category-aware evaluation of correctness and hardware efficiency across 176 tasks in 15 categories. Our systematic comparison of five representative methods yields three main findings. First, task structure determines correctness more than method design. Category explains nearly three times more variance in semantic correctness than method (9.4% vs 3.3% explained deviance), and 72% of Fusion tasks fail across all five methods while Math tasks are solved consistently. Second, iterative refinement improves correctness, but not performance. Across GEAK iterations, compile rate rises from 52.3% to 68.8% while average speedup declines from 1.58times to 1.44times; newly rescued kernels consistently underperform persistently correct ones (1.16times vs 1.58times speedup in round~0to1). Third, correctness does not imply efficiency. 46.6% of correct kernels are slower than the PyTorch eager baseline, and cross-hardware speedup variance reaches 21.4times. Besides, quantization remains completely unsolved (0/30 successes) despite non-trivial compilation rates, revealing systematic misunderstanding of numerical computation contracts rather than surface-level syntax errors. These findings suggest that future progress depends on handling global coordination, explicitly modeling numerical precision, and incorporating hardware efficiency into generation. The code is available at https://github.com/BonnieW05/KernelBenchX