ChipNeMo: Modelos de Linguagem de Grande Escala Adaptados ao Domínio para Projeto de Chips

ChipNeMo: Domain-Adapted LLMs for Chip Design

October 31, 2023

Autores: Mingjie Liu, Teo Ene, Robert Kirby, Chris Cheng, Nathaniel Pinckney, Rongjian Liang, Jonah Alben, Himyanshu Anand, Sanmitra Banerjee, Ismet Bayraktaroglu, Bonita Bhaskaran, Bryan Catanzaro, Arjun Chaudhuri, Sharon Clay, Bill Dally, Laura Dang, Parikshit Deshpande, Siddhanth Dhodhi, Sameer Halepete, Eric Hill, Jiashang Hu, Sumit Jain, Brucek Khailany, Kishor Kunal, Xiaowei Li, Hao Liu, Stuart Oberman, Sujeet Omar, Sreedhar Pratty, Ambar Sarkar, Zhengjiang Shao, Hanfei Sun, Pratik P Suthar, Varun Tej, Kaizhe Xu, Haoxing Ren

cs.AI

Resumo

O ChipNeMo tem como objetivo explorar as aplicações de modelos de linguagem de grande escala (LLMs) para o design industrial de chips. Em vez de implantar diretamente LLMs comerciais ou de código aberto prontos para uso, adotamos as seguintes técnicas de adaptação de domínio: tokenizadores personalizados, pré-treinamento contínuo adaptado ao domínio, ajuste fino supervisionado (SFT) com instruções específicas do domínio e modelos de recuperação adaptados ao domínio. Avaliamos esses métodos em três aplicações selecionadas de LLMs para design de chips: um chatbot assistente de engenharia, geração de scripts EDA e resumo e análise de bugs. Nossos resultados mostram que essas técnicas de adaptação de domínio permitem melhorias significativas no desempenho dos LLMs em relação aos modelos base de propósito geral nas três aplicações avaliadas, possibilitando uma redução de até 5x no tamanho do modelo com desempenho similar ou melhor em uma variedade de tarefas de design. Nossas descobertas também indicam que ainda há espaço para melhoria entre nossos resultados atuais e os resultados ideais. Acreditamos que uma investigação mais aprofundada das abordagens de LLMs adaptados ao domínio ajudará a reduzir essa lacuna no futuro.

English

ChipNeMo aims to explore the applications of large language models (LLMs) for industrial chip design. Instead of directly deploying off-the-shelf commercial or open-source LLMs, we instead adopt the following domain adaptation techniques: custom tokenizers, domain-adaptive continued pretraining, supervised fine-tuning (SFT) with domain-specific instructions, and domain-adapted retrieval models. We evaluate these methods on three selected LLM applications for chip design: an engineering assistant chatbot, EDA script generation, and bug summarization and analysis. Our results show that these domain adaptation techniques enable significant LLM performance improvements over general-purpose base models across the three evaluated applications, enabling up to 5x model size reduction with similar or better performance on a range of design tasks. Our findings also indicate that there's still room for improvement between our current results and ideal outcomes. We believe that further investigation of domain-adapted LLM approaches will help close this gap in the future.