ChipNeMo: チップ設計向けドメイン適応型大規模言語モデル

ChipNeMo: Domain-Adapted LLMs for Chip Design

October 31, 2023

著者: Mingjie Liu, Teo Ene, Robert Kirby, Chris Cheng, Nathaniel Pinckney, Rongjian Liang, Jonah Alben, Himyanshu Anand, Sanmitra Banerjee, Ismet Bayraktaroglu, Bonita Bhaskaran, Bryan Catanzaro, Arjun Chaudhuri, Sharon Clay, Bill Dally, Laura Dang, Parikshit Deshpande, Siddhanth Dhodhi, Sameer Halepete, Eric Hill, Jiashang Hu, Sumit Jain, Brucek Khailany, Kishor Kunal, Xiaowei Li, Hao Liu, Stuart Oberman, Sujeet Omar, Sreedhar Pratty, Ambar Sarkar, Zhengjiang Shao, Hanfei Sun, Pratik P Suthar, Varun Tej, Kaizhe Xu, Haoxing Ren

cs.AI

要旨

ChipNeMoは、産業用チップ設計における大規模言語モデル（LLM）の応用を探求することを目的としています。既存の商用またはオープンソースのLLMを直接導入するのではなく、以下のドメイン適応技術を採用しています：カスタムトークナイザー、ドメイン適応型継続事前学習、ドメイン固有の指示を用いた教師ありファインチューニング（SFT）、およびドメイン適応型検索モデルです。これらの手法を、チップ設計における3つの選定されたLLM応用（エンジニアリングアシスタントチャットボット、EDAスクリプト生成、バグの要約と分析）で評価しました。結果は、これらのドメイン適応技術が、汎用ベースモデルと比較して、評価された3つの応用においてLLMの性能を大幅に向上させ、設計タスクの範囲で同程度またはそれ以上の性能を維持しながら最大5倍のモデルサイズ削減を可能にすることを示しています。また、現在の結果と理想的な成果との間にはまだ改善の余地があることも示唆されています。ドメイン適応型LLMアプローチのさらなる調査が、将来このギャップを埋めるのに役立つと信じています。

English

ChipNeMo aims to explore the applications of large language models (LLMs) for industrial chip design. Instead of directly deploying off-the-shelf commercial or open-source LLMs, we instead adopt the following domain adaptation techniques: custom tokenizers, domain-adaptive continued pretraining, supervised fine-tuning (SFT) with domain-specific instructions, and domain-adapted retrieval models. We evaluate these methods on three selected LLM applications for chip design: an engineering assistant chatbot, EDA script generation, and bug summarization and analysis. Our results show that these domain adaptation techniques enable significant LLM performance improvements over general-purpose base models across the three evaluated applications, enabling up to 5x model size reduction with similar or better performance on a range of design tasks. Our findings also indicate that there's still room for improvement between our current results and ideal outcomes. We believe that further investigation of domain-adapted LLM approaches will help close this gap in the future.