Naar geautomatiseerde kernelgeneratie in het tijdperk van LLM's

Samenvatting

De prestaties van moderne AI-systemen worden fundamenteel beperkt door de kwaliteit van hun onderliggende kernels, die hoogwaardige algoritmische semantiek vertalen naar laagwaardige hardwareoperaties. Het bereiken van bijna-optimale kernels vereist een expertniveau van begrip van hardware-architecturen en programmeermodellen, wat kernelengineering tot een kritieke maar berucht tijdrovende en niet-schaalbare proces maakt. Recente vooruitgang in grote taalmodellen (LLM's) en op LLM's gebaseerde agents heeft nieuwe mogelijkheden geopend voor het automatiseren van kernelgeneratie en -optimalisatie. LLM's zijn bijzonder geschikt om expertkennis over kernels, die moeilijk te formaliseren is, te comprimeren, terwijl agent-systemen verdere schaalbare optimalisatie mogelijk maken door kernelontwikkeling te modelleren als een iteratieve, op feedback gebaseerde lus. Er is snelle vooruitgang geboekt op dit gebied. Desalniettemin blijft het veld gefragmenteerd en ontbreekt het aan een systematisch perspectief voor LLM-gedreven kernelgeneratie. Dit overzichtsartikel dicht deze kloof door een gestructureerd overzicht te bieden van bestaande benaderingen, variërend van op LLM's gebaseerde methoden tot agent-gedreven optimalisatieworkflows, en door de datasets en benchmarks die het leren en de evaluatie in dit domein ondersteunen systematisch samen te stellen. Bovendien worden belangrijke open uitdagingen en toekomstige onderzoeksrichtingen geschetst, met als doel een uitgebreide referentie te creëren voor de volgende generatie geautomatiseerde kerneloptimalisatie. Om dit veld te volgen, onderhouden we een open-source GitHub-repository op https://github.com/flagos-ai/awesome-LLM-driven-kernel-generation.

English

The performance of modern AI systems is fundamentally constrained by the quality of their underlying kernels, which translate high-level algorithmic semantics into low-level hardware operations. Achieving near-optimal kernels requires expert-level understanding of hardware architectures and programming models, making kernel engineering a critical but notoriously time-consuming and non-scalable process. Recent advances in large language models (LLMs) and LLM-based agents have opened new possibilities for automating kernel generation and optimization. LLMs are well-suited to compress expert-level kernel knowledge that is difficult to formalize, while agentic systems further enable scalable optimization by casting kernel development as an iterative, feedback-driven loop. Rapid progress has been made in this area. However, the field remains fragmented, lacking a systematic perspective for LLM-driven kernel generation. This survey addresses this gap by providing a structured overview of existing approaches, spanning LLM-based approaches and agentic optimization workflows, and systematically compiling the datasets and benchmarks that underpin learning and evaluation in this domain. Moreover, key open challenges and future research directions are further outlined, aiming to establish a comprehensive reference for the next generation of automated kernel optimization. To keep track of this field, we maintain an open-source GitHub repository at https://github.com/flagos-ai/awesome-LLM-driven-kernel-generation.

Naar geautomatiseerde kernelgeneratie in het tijdperk van LLM's

Towards Automated Kernel Generation in the Era of LLMs

Samenvatting

Support