DentalGPT: 歯科医療におけるマルチモーダル複合推論の促進
DentalGPT: Incentivizing Multimodal Complex Reasoning in Dentistry
December 12, 2025
著者: Zhenyang Cai, Jiaming Zhang, Junjie Zhao, Ziyi Zeng, Yanchao Li, Jingyi Liang, Junying Chen, Yunjin Yang, Jiajun You, Shuzhi Deng, Tongfei Wang, Wanting Chen, Chunxiu Hao, Ruiqi Xie, Zhenwei Wen, Xiangyi Feng, Zou Ting, Jin Zou Lin, Jianquan Li, Guangjun Yu, Liangyi Chen, Junwen Wang, Shan Jiang, Benyou Wang
cs.AI
要旨
歯科におけるマルチモーダルデータの信頼性ある解釈は、自動化された口腔医療に不可欠である。しかし、現在のマルチモーダル大規模言語モデル（MLLM）は、歯科画像の微細な視覚的詳細を捉えることが困難で、精密な診断に必要な推論能力も不十分である。これらの課題を解決するため、我々は高品質な領域知識注入と強化学習により開発された専門歯科MLLM「DentalGPT」を提案する。具体的には、診断に関連する視覚的特徴を詳細に記述した12万枚以上の歯科画像を統合し、歯科分野において現時点で最大の注釈付きマルチモーダルデータセットを構築した。このデータセットによる学習はMLLMの歯科病態に対する視覚的理解を大幅に強化し、続く強化学習段階ではマルチモーダル複合推論能力をさらに向上させる。口腔内写真とパノラマX線画像のベンチマーク、および医療VQAベンチマークの歯科サブセットを用いた総合的な評価により、DentalGPTは疾患分類と歯科VQAタスクにおいて優れた性能を発揮し、僅か70億パラメータながら多くの先進MLLMを凌駕することを実証した。これらの結果は、高品質な歯科データと段階的適応を組み合わせることで、能力の高い専門特化型歯科MLLMを構築する有効な道筋が得られることを示している。
English
Reliable interpretation of multimodal data in dentistry is essential for automated oral healthcare, yet current multimodal large language models (MLLMs) struggle to capture fine-grained dental visual details and lack sufficient reasoning ability for precise diagnosis. To address these limitations, we present DentalGPT, a specialized dental MLLM developed through high-quality domain knowledge injection and reinforcement learning. Specifically, the largest annotated multimodal dataset for dentistry to date was constructed by aggregating over 120k dental images paired with detailed descriptions that highlight diagnostically relevant visual features, making it the multimodal dataset with the most extensive collection of dental images to date. Training on this dataset significantly enhances the MLLM's visual understanding of dental conditions, while the subsequent reinforcement learning stage further strengthens its capability for multimodal complex reasoning. Comprehensive evaluations on intraoral and panoramic benchmarks, along with dental subsets of medical VQA benchmarks, show that DentalGPT achieves superior performance in disease classification and dental VQA tasks, outperforming many state-of-the-art MLLMs despite having only 7B parameters. These results demonstrate that high-quality dental data combined with staged adaptation provides an effective pathway for building capable and domain-specialized dental MLLMs.