CodeV: Повышение эффективности LLM для генерации Verilog с помощью многоуровневой суммаризации

CodeV: Empowering LLMs for Verilog Generation through Multi-Level Summarization

July 15, 2024

Авторы: Yang Zhao, Di Huang, Chongxiao Li, Pengwei Jin, Ziyuan Nan, Tianyun Ma, Lei Qi, Yansong Pan, Zhenxing Zhang, Rui Zhang, Xishan Zhang, Zidong Du, Qi Guo, Xing Hu, Yunji Chen

cs.AI

Аннотация

Растущая сложность и высокие затраты, связанные с современным проектированием процессоров, привели к всплеску спроса на автоматизацию проектирования процессоров. Инструкционно настроенные большие языковые модели (LLM) продемонстрировали выдающуюся производительность в автоматическом создании кода для общеиспользуемых языков программирования, таких как Python. Однако эти методы терпят неудачу при работе с языками описания аппаратуры (HDL), такими как Verilog, из-за недостатка высококачественных данных для настройки инструкций, поскольку даже передовые LLM, такие как GPT-3.5, проявляют ограниченную производительность при генерации Verilog. Относительно этой проблемы мы отмечаем, что (1) Verilog-код, собранный из реального мира, имеет более высокое качество, чем тот, который генерируют LLM. (2) LLM, такие как GPT-3.5, отличаются в том, что они лучше подходят для краткого изложения кода на Verilog, чем для его генерации. Исходя из этих наблюдений, в данной статье представляется CodeV, серия открытых инструкционно настроенных LLM для генерации Verilog. Вместо того чтобы сначала генерировать описания, а затем получать соответствующий код от передовых LLM, мы подаем LLM код на Verilog и позволяем ему сгенерировать соответствующее описание на естественном языке путем многоуровневого краткого изложения. Экспериментальные результаты показывают, что CodeV относительно превосходит предыдущий открытый SOTA на 14,4% (BetterV в VerilogEval) и 11,3% (RTLCoder в RTLLM) соответственно, а также относительно превосходит предыдущий коммерческий SOTA GPT-4 на 22,1% в VerilogEval.

English

The increasing complexity and high costs associated with modern processor design have led to a surge in demand for processor design automation. Instruction-tuned large language models (LLMs) have demonstrated remarkable performance in automatically generating code for general-purpose programming languages like Python. However, these methods fail on hardware description languages (HDLs) like Verilog due to the scarcity of high-quality instruction tuning data, as even advanced LLMs like GPT-3.5 exhibit limited performance on Verilog generation. Regarding this issue, we observe that (1) Verilog code collected from the real world has higher quality than those generated by LLMs. (2) LLMs like GPT-3.5 excel in summarizing Verilog code rather than generating it. Based on these observations, this paper introduces CodeV, a series of open-source instruction-tuned Verilog generation LLMs. Instead of generating descriptions first and then getting the corresponding code from advanced LLMs, we prompt the LLM with Verilog code and let the LLM generate the corresponding natural language description by multi-level summarization. Experimental results show that CodeV relatively surpasses the previous open-source SOTA by 14.4% (BetterV in VerilogEval) and 11.3% (RTLCoder in RTLLM) respectively, and also relatively outperforms previous commercial SOTA GPT-4 by 22.1% in VerilogEval.