ChipNeMo : Modèles de langage adaptés au domaine pour la conception de puces

ChipNeMo: Domain-Adapted LLMs for Chip Design

October 31, 2023

Auteurs: Mingjie Liu, Teo Ene, Robert Kirby, Chris Cheng, Nathaniel Pinckney, Rongjian Liang, Jonah Alben, Himyanshu Anand, Sanmitra Banerjee, Ismet Bayraktaroglu, Bonita Bhaskaran, Bryan Catanzaro, Arjun Chaudhuri, Sharon Clay, Bill Dally, Laura Dang, Parikshit Deshpande, Siddhanth Dhodhi, Sameer Halepete, Eric Hill, Jiashang Hu, Sumit Jain, Brucek Khailany, Kishor Kunal, Xiaowei Li, Hao Liu, Stuart Oberman, Sujeet Omar, Sreedhar Pratty, Ambar Sarkar, Zhengjiang Shao, Hanfei Sun, Pratik P Suthar, Varun Tej, Kaizhe Xu, Haoxing Ren

cs.AI

Résumé

ChipNeMo vise à explorer les applications des grands modèles de langage (LLM) pour la conception industrielle de puces. Plutôt que de déployer directement des LLM commerciaux ou open-source existants, nous adoptons les techniques d'adaptation de domaine suivantes : des tokenizers personnalisés, un pré-entraînement continu adapté au domaine, un réglage fin supervisé (SFT) avec des instructions spécifiques au domaine, et des modèles de recherche adaptés au domaine. Nous évaluons ces méthodes sur trois applications sélectionnées de LLM pour la conception de puces : un assistant d'ingénierie sous forme de chatbot, la génération de scripts EDA, et la synthèse et l'analyse de bugs. Nos résultats montrent que ces techniques d'adaptation de domaine permettent des améliorations significatives des performances des LLM par rapport aux modèles de base à usage général, pour les trois applications évaluées, permettant une réduction de la taille du modèle jusqu'à 5x avec des performances similaires ou meilleures sur une gamme de tâches de conception. Nos résultats indiquent également qu'il reste une marge d'amélioration entre nos résultats actuels et les résultats idéaux. Nous pensons qu'une investigation plus poussée des approches de LLM adaptés au domaine contribuera à combler cet écart à l'avenir.

English

ChipNeMo aims to explore the applications of large language models (LLMs) for industrial chip design. Instead of directly deploying off-the-shelf commercial or open-source LLMs, we instead adopt the following domain adaptation techniques: custom tokenizers, domain-adaptive continued pretraining, supervised fine-tuning (SFT) with domain-specific instructions, and domain-adapted retrieval models. We evaluate these methods on three selected LLM applications for chip design: an engineering assistant chatbot, EDA script generation, and bug summarization and analysis. Our results show that these domain adaptation techniques enable significant LLM performance improvements over general-purpose base models across the three evaluated applications, enabling up to 5x model size reduction with similar or better performance on a range of design tasks. Our findings also indicate that there's still room for improvement between our current results and ideal outcomes. We believe that further investigation of domain-adapted LLM approaches will help close this gap in the future.