DentalGPT: Incentivizzare il Ragionamento Complesso Multimodale in Odontoiatria
DentalGPT: Incentivizing Multimodal Complex Reasoning in Dentistry
December 12, 2025
Autori: Zhenyang Cai, Jiaming Zhang, Junjie Zhao, Ziyi Zeng, Yanchao Li, Jingyi Liang, Junying Chen, Yunjin Yang, Jiajun You, Shuzhi Deng, Tongfei Wang, Wanting Chen, Chunxiu Hao, Ruiqi Xie, Zhenwei Wen, Xiangyi Feng, Zou Ting, Jin Zou Lin, Jianquan Li, Guangjun Yu, Liangyi Chen, Junwen Wang, Shan Jiang, Benyou Wang
cs.AI
Abstract
L'interpretazione affidabile dei dati multimodali in odontoiatria è essenziale per l'assistenza odontoiatrica automatizzata, tuttavia gli attuali modelli linguistici multimodali (MLLM) faticano a catturare i dettagli visivi odontoiatrici granulari e mancano di sufficiente capacità di ragionamento per una diagnosi precisa. Per affrontare queste limitazioni, presentiamo DentalGPT, un MLLM odontoiatrico specializzato sviluppato attraverso l'iniezione di conoscenza di dominio di alta qualità e l'apprendimento per rinforzo. Nello specifico, è stato costruito il più grande dataset multimodale annotato per l'odontoiatria fino ad oggi, aggregando oltre 120.000 immagini dentali abbinate a descrizioni dettagliate che evidenziano caratteristiche visive clinicamente rilevanti, rendendolo il dataset multimodale con la più vasta collezione di immagini dentali esistente. L'addestramento su questo dataset migliora significativamente la comprensione visiva delle condizioni odontoiatriche del MLLM, mentre la successiva fase di apprendimento per rinforzo ne rafforza ulteriormente la capacità di ragionamento complesso multimodale. Valutazioni complete su benchmark intraorali e panoramici, insieme a sottoinsiemi odontoiatrici di benchmark di VQA medici, mostrano che DentalGPT raggiunge prestazioni superiori nelle attività di classificazione delle patologie e di VQA odontoiatrico, superando molti MLLM all'avanguardia nonostante abbia solo 7 miliardi di parametri. Questi risultati dimostrano che dati odontoiatrici di alta qualità combinati con un adattamento graduale forniscono un percorso efficace per costruire MLLM odontoiatrici capaci e specializzati nel dominio.
English
Reliable interpretation of multimodal data in dentistry is essential for automated oral healthcare, yet current multimodal large language models (MLLMs) struggle to capture fine-grained dental visual details and lack sufficient reasoning ability for precise diagnosis. To address these limitations, we present DentalGPT, a specialized dental MLLM developed through high-quality domain knowledge injection and reinforcement learning. Specifically, the largest annotated multimodal dataset for dentistry to date was constructed by aggregating over 120k dental images paired with detailed descriptions that highlight diagnostically relevant visual features, making it the multimodal dataset with the most extensive collection of dental images to date. Training on this dataset significantly enhances the MLLM's visual understanding of dental conditions, while the subsequent reinforcement learning stage further strengthens its capability for multimodal complex reasoning. Comprehensive evaluations on intraoral and panoramic benchmarks, along with dental subsets of medical VQA benchmarks, show that DentalGPT achieves superior performance in disease classification and dental VQA tasks, outperforming many state-of-the-art MLLMs despite having only 7B parameters. These results demonstrate that high-quality dental data combined with staged adaptation provides an effective pathway for building capable and domain-specialized dental MLLMs.