CodeV: Potenciando LLMs para la Generación de Verilog a través de la Sumarización Multinivel

CodeV: Empowering LLMs for Verilog Generation through Multi-Level Summarization

July 15, 2024

Autores: Yang Zhao, Di Huang, Chongxiao Li, Pengwei Jin, Ziyuan Nan, Tianyun Ma, Lei Qi, Yansong Pan, Zhenxing Zhang, Rui Zhang, Xishan Zhang, Zidong Du, Qi Guo, Xing Hu, Yunji Chen

cs.AI

Resumen

La creciente complejidad y los altos costos asociados con el diseño de procesadores modernos han llevado a un aumento en la demanda de automatización del diseño de procesadores. Los modelos de lenguaje grandes (LLMs) ajustados a instrucciones han demostrado un rendimiento notable en la generación automática de código para lenguajes de programación de propósito general como Python. Sin embargo, estos métodos fallan en lenguajes de descripción de hardware (HDLs) como Verilog debido a la escasez de datos de ajuste de instrucciones de alta calidad, ya que incluso LLMs avanzados como GPT-3.5 muestran un rendimiento limitado en la generación de Verilog. En relación con este problema, observamos que (1) el código Verilog recopilado del mundo real tiene una calidad superior al generado por LLMs. (2) LLMs como GPT-3.5 sobresalen en resumir el código Verilog en lugar de generarlo. Basándonos en estas observaciones, este artículo presenta CodeV, una serie de LLMs de generación de Verilog ajustados a instrucciones de código abierto. En lugar de generar descripciones primero y luego obtener el código correspondiente de LLMs avanzados, solicitamos al LLM con código Verilog y dejamos que el LLM genere la descripción en lenguaje natural correspondiente mediante una sumarización multinivel. Los resultados experimentales muestran que CodeV supera relativamente al estado del arte anterior de código abierto en un 14.4% (BetterV en VerilogEval) y 11.3% (RTLCoder en RTLLM) respectivamente, y también supera relativamente al estado del arte comercial anterior GPT-4 en un 22.1% en VerilogEval.

English

The increasing complexity and high costs associated with modern processor design have led to a surge in demand for processor design automation. Instruction-tuned large language models (LLMs) have demonstrated remarkable performance in automatically generating code for general-purpose programming languages like Python. However, these methods fail on hardware description languages (HDLs) like Verilog due to the scarcity of high-quality instruction tuning data, as even advanced LLMs like GPT-3.5 exhibit limited performance on Verilog generation. Regarding this issue, we observe that (1) Verilog code collected from the real world has higher quality than those generated by LLMs. (2) LLMs like GPT-3.5 excel in summarizing Verilog code rather than generating it. Based on these observations, this paper introduces CodeV, a series of open-source instruction-tuned Verilog generation LLMs. Instead of generating descriptions first and then getting the corresponding code from advanced LLMs, we prompt the LLM with Verilog code and let the LLM generate the corresponding natural language description by multi-level summarization. Experimental results show that CodeV relatively surpasses the previous open-source SOTA by 14.4% (BetterV in VerilogEval) and 11.3% (RTLCoder in RTLLM) respectively, and also relatively outperforms previous commercial SOTA GPT-4 by 22.1% in VerilogEval.