ChipNeMo: Modelos de Lenguaje de Gran Escala Adaptados al Dominio del Diseño de Chips

ChipNeMo: Domain-Adapted LLMs for Chip Design

October 31, 2023

Autores: Mingjie Liu, Teo Ene, Robert Kirby, Chris Cheng, Nathaniel Pinckney, Rongjian Liang, Jonah Alben, Himyanshu Anand, Sanmitra Banerjee, Ismet Bayraktaroglu, Bonita Bhaskaran, Bryan Catanzaro, Arjun Chaudhuri, Sharon Clay, Bill Dally, Laura Dang, Parikshit Deshpande, Siddhanth Dhodhi, Sameer Halepete, Eric Hill, Jiashang Hu, Sumit Jain, Brucek Khailany, Kishor Kunal, Xiaowei Li, Hao Liu, Stuart Oberman, Sujeet Omar, Sreedhar Pratty, Ambar Sarkar, Zhengjiang Shao, Hanfei Sun, Pratik P Suthar, Varun Tej, Kaizhe Xu, Haoxing Ren

cs.AI

Resumen

ChipNeMo tiene como objetivo explorar las aplicaciones de los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) para el diseño industrial de chips. En lugar de implementar directamente LLMs comerciales o de código abierto disponibles en el mercado, adoptamos las siguientes técnicas de adaptación de dominio: tokenizadores personalizados, preentrenamiento continuo adaptado al dominio, ajuste fino supervisado (SFT) con instrucciones específicas del dominio y modelos de recuperación adaptados al dominio. Evaluamos estos métodos en tres aplicaciones seleccionadas de LLMs para el diseño de chips: un chatbot de asistencia para ingeniería, generación de scripts EDA, y resumen y análisis de errores. Nuestros resultados muestran que estas técnicas de adaptación de dominio permiten mejoras significativas en el rendimiento de los LLMs en comparación con los modelos base de propósito general en las tres aplicaciones evaluadas, logrando una reducción de hasta 5 veces en el tamaño del modelo con un rendimiento similar o mejor en una variedad de tareas de diseño. Nuestros hallazgos también indican que aún existe margen de mejora entre los resultados actuales y los resultados ideales. Creemos que una investigación más profunda sobre los enfoques de LLMs adaptados al dominio ayudará a cerrar esta brecha en el futuro.

English

ChipNeMo aims to explore the applications of large language models (LLMs) for industrial chip design. Instead of directly deploying off-the-shelf commercial or open-source LLMs, we instead adopt the following domain adaptation techniques: custom tokenizers, domain-adaptive continued pretraining, supervised fine-tuning (SFT) with domain-specific instructions, and domain-adapted retrieval models. We evaluate these methods on three selected LLM applications for chip design: an engineering assistant chatbot, EDA script generation, and bug summarization and analysis. Our results show that these domain adaptation techniques enable significant LLM performance improvements over general-purpose base models across the three evaluated applications, enabling up to 5x model size reduction with similar or better performance on a range of design tasks. Our findings also indicate that there's still room for improvement between our current results and ideal outcomes. We believe that further investigation of domain-adapted LLM approaches will help close this gap in the future.