Verso la generazione automatizzata di kernel nell'era degli LLM

Towards Automated Kernel Generation in the Era of LLMs

January 22, 2026

Autori: Yang Yu, Peiyu Zang, Chi Hsu Tsai, Haiming Wu, Yixin Shen, Jialing Zhang, Haoyu Wang, Zhiyou Xiao, Jingze Shi, Yuyu Luo, Wentao Zhang, Chunlei Men, Guang Liu, Yonghua Lin

cs.AI

Abstract

Le prestazioni dei moderni sistemi di intelligenza artificiale sono fondamentalmente limitate dalla qualità dei loro kernel sottostanti, che traducono la semantica algoritmica di alto livello in operazioni hardware di basso livello. Il raggiungimento di kernel quasi ottimali richiede una comprensione a livello esperto delle architetture hardware e dei modelli di programmazione, rendendo l'ingegneria dei kernel un processo critico ma notoriamente dispendioso in termini di tempo e non scalabile. I recenti progressi nei modelli linguistici di grandi dimensioni (LLM) e negli agenti basati su LLM hanno aperto nuove possibilità per automatizzare la generazione e l'ottimizzazione dei kernel. Gli LLM sono adatti a comprimere la conoscenza esperta sui kernel che è difficile da formalizzare, mentre i sistemi agentistici consentono un'ulteriore ottimizzazione scalabile trasformando lo sviluppo dei kernel in un ciclo iterativo guidato dal feedback. In questo ambito sono stati compiuti rapidi progressi. Tuttavia, il campo rimane frammentato, privo di una prospettiva sistematica per la generazione di kernel guidata da LLM. Questa rassegna colma tale lacuna fornendo una panoramica strutturata degli approcci esistenti, spaziando dai metodi basati su LLM ai flussi di lavoro di ottimizzazione agentistica, e sistematizzando la compilazione dei dataset e dei benchmark che sostengono l'apprendimento e la valutazione in questo dominio. Inoltre, vengono delineate le principali sfide aperte e le future direzioni di ricerca, con l'obiettivo di stabilire un riferimento completo per la prossima generazione di ottimizzazione automatica dei kernel. Per monitorare questo campo, manteniamo un repository GitHub open-source all'indirizzo https://github.com/flagos-ai/awesome-LLM-driven-kernel-generation.

English

The performance of modern AI systems is fundamentally constrained by the quality of their underlying kernels, which translate high-level algorithmic semantics into low-level hardware operations. Achieving near-optimal kernels requires expert-level understanding of hardware architectures and programming models, making kernel engineering a critical but notoriously time-consuming and non-scalable process. Recent advances in large language models (LLMs) and LLM-based agents have opened new possibilities for automating kernel generation and optimization. LLMs are well-suited to compress expert-level kernel knowledge that is difficult to formalize, while agentic systems further enable scalable optimization by casting kernel development as an iterative, feedback-driven loop. Rapid progress has been made in this area. However, the field remains fragmented, lacking a systematic perspective for LLM-driven kernel generation. This survey addresses this gap by providing a structured overview of existing approaches, spanning LLM-based approaches and agentic optimization workflows, and systematically compiling the datasets and benchmarks that underpin learning and evaluation in this domain. Moreover, key open challenges and future research directions are further outlined, aiming to establish a comprehensive reference for the next generation of automated kernel optimization. To keep track of this field, we maintain an open-source GitHub repository at https://github.com/flagos-ai/awesome-LLM-driven-kernel-generation.