ChipNeMo: Domänenangepasste LLMs für den Chip-Entwurf

ChipNeMo: Domain-Adapted LLMs for Chip Design

October 31, 2023

papers.authors: Mingjie Liu, Teo Ene, Robert Kirby, Chris Cheng, Nathaniel Pinckney, Rongjian Liang, Jonah Alben, Himyanshu Anand, Sanmitra Banerjee, Ismet Bayraktaroglu, Bonita Bhaskaran, Bryan Catanzaro, Arjun Chaudhuri, Sharon Clay, Bill Dally, Laura Dang, Parikshit Deshpande, Siddhanth Dhodhi, Sameer Halepete, Eric Hill, Jiashang Hu, Sumit Jain, Brucek Khailany, Kishor Kunal, Xiaowei Li, Hao Liu, Stuart Oberman, Sujeet Omar, Sreedhar Pratty, Ambar Sarkar, Zhengjiang Shao, Hanfei Sun, Pratik P Suthar, Varun Tej, Kaizhe Xu, Haoxing Ren

cs.AI

papers.abstract

ChipNeMo zielt darauf ab, die Anwendungen von großen Sprachmodellen (LLMs) für den industriellen Chip-Design zu erforschen. Anstatt direkt verfügbare kommerzielle oder Open-Source-LLMs einzusetzen, verwenden wir stattdessen die folgenden Domänenanpassungstechniken: benutzerdefinierte Tokenizer, domänenadaptive Weiterführung des Vortrainings, überwachte Feinabstimmung (SFT) mit domänenspezifischen Anweisungen und domänenangepasste Retrieval-Modelle. Wir bewerten diese Methoden anhand von drei ausgewählten LLM-Anwendungen für den Chip-Design: ein Engineering-Assistent-Chatbot, die Generierung von EDA-Skripten sowie die Zusammenfassung und Analyse von Fehlern. Unsere Ergebnisse zeigen, dass diese Domänenanpassungstechniken signifikante Leistungsverbesserungen der LLMs gegenüber allgemeinen Basismodellen in den drei bewerteten Anwendungen ermöglichen, wobei eine Reduzierung der Modellgröße um bis zu 5x bei ähnlicher oder besserer Leistung in einer Reihe von Designaufgaben erreicht wird. Unsere Erkenntnisse deuten auch darauf hin, dass zwischen unseren aktuellen Ergebnissen und den idealen Ergebnissen noch Verbesserungspotenzial besteht. Wir glauben, dass weitere Untersuchungen zu domänenangepassten LLM-Ansätzen dazu beitragen werden, diese Lücke in Zukunft zu schließen.

English

ChipNeMo aims to explore the applications of large language models (LLMs) for industrial chip design. Instead of directly deploying off-the-shelf commercial or open-source LLMs, we instead adopt the following domain adaptation techniques: custom tokenizers, domain-adaptive continued pretraining, supervised fine-tuning (SFT) with domain-specific instructions, and domain-adapted retrieval models. We evaluate these methods on three selected LLM applications for chip design: an engineering assistant chatbot, EDA script generation, and bug summarization and analysis. Our results show that these domain adaptation techniques enable significant LLM performance improvements over general-purpose base models across the three evaluated applications, enabling up to 5x model size reduction with similar or better performance on a range of design tasks. Our findings also indicate that there's still room for improvement between our current results and ideal outcomes. We believe that further investigation of domain-adapted LLM approaches will help close this gap in the future.