CodeV: Stärkung von LLMs zur Verilog-Erzeugung durch mehrstufige Zusammenfassung

CodeV: Empowering LLMs for Verilog Generation through Multi-Level Summarization

July 15, 2024

Autoren: Yang Zhao, Di Huang, Chongxiao Li, Pengwei Jin, Ziyuan Nan, Tianyun Ma, Lei Qi, Yansong Pan, Zhenxing Zhang, Rui Zhang, Xishan Zhang, Zidong Du, Qi Guo, Xing Hu, Yunji Chen

cs.AI

Zusammenfassung

Die zunehmende Komplexität und die hohen Kosten moderner Prozessorentwürfe haben zu einem Anstieg der Nachfrage nach Prozessorentwurfsautomatisierung geführt. Anweisungsangepasste große Sprachmodelle (LLMs) haben eine bemerkenswerte Leistung bei der automatischen Generierung von Code für allgemeine Programmiersprachen wie Python gezeigt. Diese Methoden versagen jedoch bei Hardware-Beschreibungssprachen (HDLs) wie Verilog aufgrund des Mangels an hochwertigen Anweisungsabstimmungsdaten, da selbst fortschrittliche LLMs wie GPT-3.5 eine begrenzte Leistung bei der Verilog-Generierung aufweisen. In Bezug auf dieses Problem beobachten wir, dass (1) Verilog-Code, der aus der realen Welt gesammelt wurde, eine höhere Qualität aufweist als der von LLMs generierte Code. (2) LLMs wie GPT-3.5 glänzen darin, Verilog-Code zusammenzufassen, anstatt ihn zu generieren. Basierend auf diesen Beobachtungen stellt dieser Artikel CodeV vor, eine Reihe von Open-Source anweisungsangepassten Verilog-Generierungs-LLMs. Anstatt zuerst Beschreibungen zu generieren und dann den entsprechenden Code von fortschrittlichen LLMs zu erhalten, geben wir dem LLM Verilog-Code vor und lassen ihn die entsprechende natürlichsprachliche Beschreibung durch mehrstufige Zusammenfassung generieren. Experimentelle Ergebnisse zeigen, dass CodeV den bisherigen Open-Source-SOTA um 14,4% (BetterV in VerilogEval) bzw. 11,3% (RTLCoder in RTLLM) relativ übertrifft und auch den bisherigen kommerziellen SOTA GPT-4 in VerilogEval um 22,1% relativ übertrifft.

English

The increasing complexity and high costs associated with modern processor design have led to a surge in demand for processor design automation. Instruction-tuned large language models (LLMs) have demonstrated remarkable performance in automatically generating code for general-purpose programming languages like Python. However, these methods fail on hardware description languages (HDLs) like Verilog due to the scarcity of high-quality instruction tuning data, as even advanced LLMs like GPT-3.5 exhibit limited performance on Verilog generation. Regarding this issue, we observe that (1) Verilog code collected from the real world has higher quality than those generated by LLMs. (2) LLMs like GPT-3.5 excel in summarizing Verilog code rather than generating it. Based on these observations, this paper introduces CodeV, a series of open-source instruction-tuned Verilog generation LLMs. Instead of generating descriptions first and then getting the corresponding code from advanced LLMs, we prompt the LLM with Verilog code and let the LLM generate the corresponding natural language description by multi-level summarization. Experimental results show that CodeV relatively surpasses the previous open-source SOTA by 14.4% (BetterV in VerilogEval) and 11.3% (RTLCoder in RTLLM) respectively, and also relatively outperforms previous commercial SOTA GPT-4 by 22.1% in VerilogEval.