Auf dem Weg zur automatisierten Kernel-Generierung im Zeitalter der LLMs
Towards Automated Kernel Generation in the Era of LLMs
January 22, 2026
papers.authors: Yang Yu, Peiyu Zang, Chi Hsu Tsai, Haiming Wu, Yixin Shen, Jialing Zhang, Haoyu Wang, Zhiyou Xiao, Jingze Shi, Yuyu Luo, Wentao Zhang, Chunlei Men, Guang Liu, Yonghua Lin
cs.AI
papers.abstract
Die Leistung moderner KI-Systeme wird grundlegend durch die Qualität ihrer zugrundeliegenden Kernel begrenzt, welche hochgradige algorithmische Semantik in niedrigrangige Hardwareoperationen übersetzen. Die Erzielung nahezu optimaler Kernel erfordert ein Expertenverständnis von Hardwarearchitekturen und Programmiermodellen, was Kernel-Engineering zu einem kritischen, aber notorisch zeitaufwändigen und nicht-skalierbaren Prozess macht. Jüngste Fortschritte bei großen Sprachmodellen (LLMs) und LLM-basierten Agenten haben neue Möglichkeiten zur Automatisierung der Kernel-Generierung und -Optimierung eröffnet. LLMs eignen sich gut dazu, schwer zu formalisierendes Expertenwissen über Kernel zu komprimieren, während agentenbasierte Systeme eine skalierbare Optimierung weiter ermöglichen, indem sie die Kernel-Entwicklung als einen iterativen, feedbackgesteuerten Kreislauf betrachten. In diesem Bereich wurden rasche Fortschritte erzielt. Dennoch bleibt das Feld fragmentiert und es fehlt an einer systematischen Perspektive für die LLM-gesteuerte Kernel-Generierung. Dieser Survey schließt diese Lücke, indem er einen strukturierten Überblick über bestehende Ansätze bietet, der LLM-basierte Ansätze und agentenbasierte Optimierungs-Workflows umspannt, und systematisch die Datensätze und Benchmarks zusammenstellt, die dem Lernen und der Evaluation in diesem Bereich zugrunde liegen. Darüber hinaus werden zentrale offene Herausforderungen und zukünftige Forschungsrichtungen skizziert, mit dem Ziel, eine umfassende Referenz für die nächste Generation der automatisierten Kernel-Optimierung zu schaffen. Um die Entwicklungen in diesem Feld zu verfolgen, pflegen wir ein Open-Source-GitHub-Repository unter https://github.com/flagos-ai/awesome-LLM-driven-kernel-generation.
English
The performance of modern AI systems is fundamentally constrained by the quality of their underlying kernels, which translate high-level algorithmic semantics into low-level hardware operations. Achieving near-optimal kernels requires expert-level understanding of hardware architectures and programming models, making kernel engineering a critical but notoriously time-consuming and non-scalable process. Recent advances in large language models (LLMs) and LLM-based agents have opened new possibilities for automating kernel generation and optimization. LLMs are well-suited to compress expert-level kernel knowledge that is difficult to formalize, while agentic systems further enable scalable optimization by casting kernel development as an iterative, feedback-driven loop. Rapid progress has been made in this area. However, the field remains fragmented, lacking a systematic perspective for LLM-driven kernel generation. This survey addresses this gap by providing a structured overview of existing approaches, spanning LLM-based approaches and agentic optimization workflows, and systematically compiling the datasets and benchmarks that underpin learning and evaluation in this domain. Moreover, key open challenges and future research directions are further outlined, aiming to establish a comprehensive reference for the next generation of automated kernel optimization. To keep track of this field, we maintain an open-source GitHub repository at https://github.com/flagos-ai/awesome-LLM-driven-kernel-generation.