К автоматизированной генерации ядра в эпоху больших языковых моделей

Towards Automated Kernel Generation in the Era of LLMs

January 22, 2026

Авторы: Yang Yu, Peiyu Zang, Chi Hsu Tsai, Haiming Wu, Yixin Shen, Jialing Zhang, Haoyu Wang, Zhiyou Xiao, Jingze Shi, Yuyu Luo, Wentao Zhang, Chunlei Men, Guang Liu, Yonghua Lin

cs.AI

Аннотация

Производительность современных систем искусственного интеллекта фундаментально ограничена качеством их базовых вычислительных ядер, которые транслируют высокоуровневую алгоритмическую семантику в низкоуровневые аппаратные операции. Достижение почти оптимальных ядер требует экспертного понимания аппаратных архитектур и моделей программирования, что делает разработку ядер критически важным, но печально известным своей трудоемкостью и плохой масштабируемостью процессом. Недавние достижения в области больших языковых моделей (LLM) и агентов на их основе открыли новые возможности для автоматизации генерации и оптимизации ядер. LLM хорошо подходят для сжатия экспертных знаний о ядрах, которые сложно формализовать, в то время как агентские системы дополнительно обеспечивают масштабируемую оптимизацию, превращая разработку ядер в итерационный цикл, управляемый обратной связью. В этой области был достигнут быстрый прогресс. Однако область остается фрагментированной, ей не хватает систематической перспективы для LLM-управляемой генерации ядер. Данный обзор заполняет этот пробел, предоставляя структурированный обзор существующих подходов, охватывающих методы на основе LLM и агентские workflows оптимизации, а также систематизируя наборы данных и бенчмарки, лежащие в основе обучения и оценки в этой области. Кроме того, очерчены ключевые открытые проблемы и будущие направления исследований, с целью создания всеобъемлющего ориентира для следующего поколения автоматической оптимизации ядер. Для отслеживания прогресса в этой области мы поддерживаем репозиторий с открытым исходным кодом на GitHub по адресу https://github.com/flagos-ai/awesome-LLM-driven-kernel-generation.

English

The performance of modern AI systems is fundamentally constrained by the quality of their underlying kernels, which translate high-level algorithmic semantics into low-level hardware operations. Achieving near-optimal kernels requires expert-level understanding of hardware architectures and programming models, making kernel engineering a critical but notoriously time-consuming and non-scalable process. Recent advances in large language models (LLMs) and LLM-based agents have opened new possibilities for automating kernel generation and optimization. LLMs are well-suited to compress expert-level kernel knowledge that is difficult to formalize, while agentic systems further enable scalable optimization by casting kernel development as an iterative, feedback-driven loop. Rapid progress has been made in this area. However, the field remains fragmented, lacking a systematic perspective for LLM-driven kernel generation. This survey addresses this gap by providing a structured overview of existing approaches, spanning LLM-based approaches and agentic optimization workflows, and systematically compiling the datasets and benchmarks that underpin learning and evaluation in this domain. Moreover, key open challenges and future research directions are further outlined, aiming to establish a comprehensive reference for the next generation of automated kernel optimization. To keep track of this field, we maintain an open-source GitHub repository at https://github.com/flagos-ai/awesome-LLM-driven-kernel-generation.