AdditiveLLM2: 積層造形のためのマルチモーダル大規模言語モデル

AdditiveLLM2: A Multi-modal Large Language Model for Additive Manufacturing

March 23, 2026

著者: Peter Pak, Amir Barati Farimani

cs.AI

要旨

本論文では、約5000万トークンの比較的小規模なデータセットを用いて、Gemma 3モデルの指示チューニング版を基盤としたマルチモーダル・ドメイン適応型大規模言語モデルAdditiveLLM2を提案する。データセット（AdditiveLLM2-OA）は、オープンアクセスの積層造形学術論文から構成され、ドメイン適応事前学習と視覚的指示チューニングプロセス向けに抽出されたデータを含む。開発モデルの各段階は、公開リソースから編纂された積層造形ドメイン固有のタスク群から成るAdditive-Manufacturing-Benchmarkを用いて評価された。AdditiveLLM2は言語タスクと視覚タスクの両方に熟達し、一般的な積層造形知識において90%以上の精度を達成している。このドメイン適応事前学習と指示チューニング戦略は、積層造形のような特定分野への大規模言語モデルの効率的な専門化手法の枠組みを示すものである。

English

This work presents AdditiveLLM2 a multi-modal, domain adapted large language model built upon the instruction tuned variant of the Gemma 3 model using a relatively small dataset of around 50 million tokens. The dataset (AdditiveLLM2-OA) consists of open-access additive manufacturing journal articles with data extracted for the domain adaptive pretraining and visual instruction tuning processes. Various stages of the developed model are evaluated with the Additive-Manufacturing-Benchmark which consists of additive manufacturing domain specific tasks compiled published resources. AdditiveLLM2 exhibits proficiency in both language and vision based tasks, achieving accuracies upwards of 90% in general additive manufacturing knowledge. This domain adaptive pretraining and instruction tuning strategy outline an accessible specialization method for large language models to a domain such as additive manufacturing.