ChipNeMo: 반도체 설계를 위한 도메인 적응형 대형 언어 모델

초록

ChipNeMo는 산업용 칩 설계를 위한 대규모 언어 모델(LLM)의 응용 가능성을 탐구하는 것을 목표로 한다. 기성 상용 또는 오픈소스 LLM을 직접 도입하는 대신, 다음과 같은 도메인 적응 기법을 채택하였다: 맞춤형 토크나이저, 도메인 적응형 지속 사전 학습, 도메인 특화 지시를 통한 지도 미세 조정(SFT), 그리고 도메인 적응형 검색 모델. 이러한 방법들을 칩 설계를 위한 세 가지 선정된 LLM 응용 분야에서 평가하였다: 엔지니어링 지원 챗봇, EDA 스크립트 생성, 버그 요약 및 분석. 평가 결과, 이러한 도메인 적응 기법이 일반 목적의 기본 모델 대비 세 가지 응용 분야에서 LLM 성능을 크게 향상시켰으며, 다양한 설계 작업에서 유사하거나 더 나은 성능을 유지하면서 모델 크기를 최대 5배까지 줄일 수 있음을 보여주었다. 또한, 현재 결과와 이상적인 결과 사이에 여전히 개선의 여지가 있음을 시사한다. 향후 도메인 적응형 LLM 접근법에 대한 추가 연구가 이 격차를 좁히는 데 도움이 될 것으로 기대한다.

English

ChipNeMo aims to explore the applications of large language models (LLMs) for industrial chip design. Instead of directly deploying off-the-shelf commercial or open-source LLMs, we instead adopt the following domain adaptation techniques: custom tokenizers, domain-adaptive continued pretraining, supervised fine-tuning (SFT) with domain-specific instructions, and domain-adapted retrieval models. We evaluate these methods on three selected LLM applications for chip design: an engineering assistant chatbot, EDA script generation, and bug summarization and analysis. Our results show that these domain adaptation techniques enable significant LLM performance improvements over general-purpose base models across the three evaluated applications, enabling up to 5x model size reduction with similar or better performance on a range of design tasks. Our findings also indicate that there's still room for improvement between our current results and ideal outcomes. We believe that further investigation of domain-adapted LLM approaches will help close this gap in the future.

ChipNeMo: 반도체 설계를 위한 도메인 적응형 대형 언어 모델

ChipNeMo: Domain-Adapted LLMs for Chip Design

초록

Support