DentalGPT : Incitation au raisonnement complexe multimodal en odontologie
DentalGPT: Incentivizing Multimodal Complex Reasoning in Dentistry
December 12, 2025
papers.authors: Zhenyang Cai, Jiaming Zhang, Junjie Zhao, Ziyi Zeng, Yanchao Li, Jingyi Liang, Junying Chen, Yunjin Yang, Jiajun You, Shuzhi Deng, Tongfei Wang, Wanting Chen, Chunxiu Hao, Ruiqi Xie, Zhenwei Wen, Xiangyi Feng, Zou Ting, Jin Zou Lin, Jianquan Li, Guangjun Yu, Liangyi Chen, Junwen Wang, Shan Jiang, Benyou Wang
cs.AI
papers.abstract
L'interprétation fiable des données multimodales en dentisterie est essentielle pour les soins bucco-dentaires automatisés. Cependant, les modèles de langage multimodaux (MLLM) actuels peinent à capturer les détails visuels dentaires fins et manquent de capacités de raisonnement suffisantes pour un diagnostic précis. Pour remédier à ces limitations, nous présentons DentalGPT, un MLLM dentaire spécialisé développé grâce à l'injection de connaissances métier de haute qualité et à l'apprentissage par renforcement. Concrètement, le plus grand ensemble de données multimodales annotées pour la dentisterie à ce jour a été construit en agrégeant plus de 120 000 images dentaires associées à des descriptions détaillées mettant en évidence les caractéristiques visuelles pertinentes pour le diagnostic, ce qui en fait l'ensemble de données multimodales regroupant la plus vaste collection d'images dentaires à ce jour. L'entraînement sur cet ensemble de données améliore significativement la compréhension visuelle des conditions dentaires par le MLLM, tandis que l'étape ultérieure d'apprentissage par renforcement renforce davantage sa capacité de raisonnement complexe multimodal. Des évaluations complètes sur des benchmarks intra-oraux et panoramiques, ainsi que sur des sous-ensembles dentaires de benchmarks médicaux de question-réponse visuelle (VQA), montrent que DentalGPT obtient des performances supérieures dans les tâches de classification des maladies et de VQA dentaire, surpassant de nombreux MLLM de pointe malgré ses seulement 7 milliards de paramètres. Ces résultats démontrent que des données dentaires de haute qualité combinées à une adaptation par étapes offrent une voie efficace pour construire des MLLM dentaires performants et spécialisés dans le domaine.
English
Reliable interpretation of multimodal data in dentistry is essential for automated oral healthcare, yet current multimodal large language models (MLLMs) struggle to capture fine-grained dental visual details and lack sufficient reasoning ability for precise diagnosis. To address these limitations, we present DentalGPT, a specialized dental MLLM developed through high-quality domain knowledge injection and reinforcement learning. Specifically, the largest annotated multimodal dataset for dentistry to date was constructed by aggregating over 120k dental images paired with detailed descriptions that highlight diagnostically relevant visual features, making it the multimodal dataset with the most extensive collection of dental images to date. Training on this dataset significantly enhances the MLLM's visual understanding of dental conditions, while the subsequent reinforcement learning stage further strengthens its capability for multimodal complex reasoning. Comprehensive evaluations on intraoral and panoramic benchmarks, along with dental subsets of medical VQA benchmarks, show that DentalGPT achieves superior performance in disease classification and dental VQA tasks, outperforming many state-of-the-art MLLMs despite having only 7B parameters. These results demonstrate that high-quality dental data combined with staged adaptation provides an effective pathway for building capable and domain-specialized dental MLLMs.