CodeV : Renforcer les LLM pour la génération de Verilog grâce à une synthèse multi-niveaux

CodeV: Empowering LLMs for Verilog Generation through Multi-Level Summarization

July 15, 2024

Auteurs: Yang Zhao, Di Huang, Chongxiao Li, Pengwei Jin, Ziyuan Nan, Tianyun Ma, Lei Qi, Yansong Pan, Zhenxing Zhang, Rui Zhang, Xishan Zhang, Zidong Du, Qi Guo, Xing Hu, Yunji Chen

cs.AI

Résumé

La complexité croissante et les coûts élevés associés à la conception moderne des processeurs ont entraîné une forte demande pour l'automatisation de la conception des processeurs. Les grands modèles de langage (LLMs) ajustés aux instructions ont démontré des performances remarquables dans la génération automatique de code pour des langages de programmation généralistes comme Python. Cependant, ces méthodes échouent sur les langages de description matérielle (HDLs) comme Verilog en raison de la rareté des données de haute qualité pour l'ajustement des instructions, car même des LLMs avancés comme GPT-3.5 montrent des performances limitées dans la génération de Verilog. Concernant ce problème, nous observons que (1) le code Verilog collecté dans le monde réel est de meilleure qualité que celui généré par les LLMs. (2) Les LLMs comme GPT-3.5 excellent dans la synthèse du code Verilog plutôt que dans sa génération. Sur la base de ces observations, cet article présente CodeV, une série de LLMs open-source ajustés aux instructions pour la génération de Verilog. Au lieu de générer d'abord des descriptions puis d'obtenir le code correspondant à partir de LLMs avancés, nous fournissons au LLM du code Verilog et laissons le LLM générer la description en langage naturel correspondante par synthèse multi-niveaux. Les résultats expérimentaux montrent que CodeV surpasse relativement les précédents SOTA open-source de 14,4 % (BetterV dans VerilogEval) et 11,3 % (RTLCoder dans RTLLM) respectivement, et surpasse également relativement le précédent SOTA commercial GPT-4 de 22,1 % dans VerilogEval.

English

The increasing complexity and high costs associated with modern processor design have led to a surge in demand for processor design automation. Instruction-tuned large language models (LLMs) have demonstrated remarkable performance in automatically generating code for general-purpose programming languages like Python. However, these methods fail on hardware description languages (HDLs) like Verilog due to the scarcity of high-quality instruction tuning data, as even advanced LLMs like GPT-3.5 exhibit limited performance on Verilog generation. Regarding this issue, we observe that (1) Verilog code collected from the real world has higher quality than those generated by LLMs. (2) LLMs like GPT-3.5 excel in summarizing Verilog code rather than generating it. Based on these observations, this paper introduces CodeV, a series of open-source instruction-tuned Verilog generation LLMs. Instead of generating descriptions first and then getting the corresponding code from advanced LLMs, we prompt the LLM with Verilog code and let the LLM generate the corresponding natural language description by multi-level summarization. Experimental results show that CodeV relatively surpasses the previous open-source SOTA by 14.4% (BetterV in VerilogEval) and 11.3% (RTLCoder in RTLLM) respectively, and also relatively outperforms previous commercial SOTA GPT-4 by 22.1% in VerilogEval.