CodeV: Het versterken van LLMs voor Verilog-generatie via multi-level samenvatting

Samenvatting

De toenemende complexiteit en hoge kosten die gepaard gaan met het ontwerp van moderne processors hebben geleid tot een sterke toename in de vraag naar automatisering van processorontwerp. Instructie-getunede grote taalmodellen (LLMs) hebben opmerkelijke prestaties getoond bij het automatisch genereren van code voor algemene programmeertalen zoals Python. Deze methoden falen echter bij hardwarebeschrijvingstalen (HDLs) zoals Verilog vanwege het gebrek aan hoogwaardige instructie-tuningdata, aangezien zelfs geavanceerde LLMs zoals GPT-3.5 beperkte prestaties vertonen bij het genereren van Verilog. Met betrekking tot dit probleem observeren we dat (1) Verilog-code die uit de echte wereld is verzameld van hogere kwaliteit is dan die gegenereerd door LLMs. (2) LLMs zoals GPT-3.5 uitblinken in het samenvatten van Verilog-code in plaats van het genereren ervan. Op basis van deze observaties introduceert dit artikel CodeV, een reeks open-source instructie-getunede Verilog-genererende LLMs. In plaats van eerst beschrijvingen te genereren en vervolgens de bijbehorende code te verkrijgen van geavanceerde LLMs, geven we de LLM Verilog-code als input en laten we de LLM de bijbehorende natuurlijke taal beschrijving genereren door middel van meerdere niveaus van samenvatting. Experimentele resultaten tonen aan dat CodeV relatief de vorige open-source SOTA met 14,4% overtreft (BetterV in VerilogEval) en 11,3% (RTLCoder in RTLLM), en ook relatief beter presteert dan de vorige commerciële SOTA GPT-4 met 22,1% in VerilogEval.

English

The increasing complexity and high costs associated with modern processor design have led to a surge in demand for processor design automation. Instruction-tuned large language models (LLMs) have demonstrated remarkable performance in automatically generating code for general-purpose programming languages like Python. However, these methods fail on hardware description languages (HDLs) like Verilog due to the scarcity of high-quality instruction tuning data, as even advanced LLMs like GPT-3.5 exhibit limited performance on Verilog generation. Regarding this issue, we observe that (1) Verilog code collected from the real world has higher quality than those generated by LLMs. (2) LLMs like GPT-3.5 excel in summarizing Verilog code rather than generating it. Based on these observations, this paper introduces CodeV, a series of open-source instruction-tuned Verilog generation LLMs. Instead of generating descriptions first and then getting the corresponding code from advanced LLMs, we prompt the LLM with Verilog code and let the LLM generate the corresponding natural language description by multi-level summarization. Experimental results show that CodeV relatively surpasses the previous open-source SOTA by 14.4% (BetterV in VerilogEval) and 11.3% (RTLCoder in RTLLM) respectively, and also relatively outperforms previous commercial SOTA GPT-4 by 22.1% in VerilogEval.

CodeV: Het versterken van LLMs voor Verilog-generatie via multi-level samenvatting

CodeV: Empowering LLMs for Verilog Generation through Multi-Level Summarization

Samenvatting

Support