AdditiveLLM2: 적층 제조를 위한 다중 모달 대규모 언어 모델

초록

본 연구에서는 약 5천만 토큰의 상대적으로 소규모 데이터셋을 사용하여 Gemma 3 모델의 지시어 튜닝 변형을 기반으로 구축된 다중 모달 도메인 적응 대규모 언어 모델인 AdditiveLLM2를 제시한다. 데이터셋(AdditiveLLM2-OA)은 도메인 적응 사전 학습 및 시각적 지시어 튜닝 과정을 위해 추출된 데이터와 함께 오픈 액세스 적층 제조 학술 논문으로 구성된다. 개발된 모델의 다양한 단계는 공개된 자료들로부터 수집된 적층 제조 도메인 특화 과제들로 구성된 Additive-Manufacturing-Benchmark를 통해 평가된다. AdditiveLLM2는 언어 및 시각 기반 과제 모두에서 능숙함을 보여주며, 일반 적층 제조 지식에서 90% 이상의 정확도를 달성한다. 이러한 도메인 적응 사전 학습 및 지시어 튜닝 전략은 적층 제조와 같은 특정 도메인에 대규모 언어 모델을 접근 가능하게 전문화하는 방법을 제시한다.

English

This work presents AdditiveLLM2 a multi-modal, domain adapted large language model built upon the instruction tuned variant of the Gemma 3 model using a relatively small dataset of around 50 million tokens. The dataset (AdditiveLLM2-OA) consists of open-access additive manufacturing journal articles with data extracted for the domain adaptive pretraining and visual instruction tuning processes. Various stages of the developed model are evaluated with the Additive-Manufacturing-Benchmark which consists of additive manufacturing domain specific tasks compiled published resources. AdditiveLLM2 exhibits proficiency in both language and vision based tasks, achieving accuracies upwards of 90% in general additive manufacturing knowledge. This domain adaptive pretraining and instruction tuning strategy outline an accessible specialization method for large language models to a domain such as additive manufacturing.

AdditiveLLM2: 적층 제조를 위한 다중 모달 대규모 언어 모델

AdditiveLLM2: A Multi-modal Large Language Model for Additive Manufacturing

초록

Support