DentalGPT: Incentivando o Raciocínio Complexo Multimodal em Odontologia
DentalGPT: Incentivizing Multimodal Complex Reasoning in Dentistry
December 12, 2025
Autores: Zhenyang Cai, Jiaming Zhang, Junjie Zhao, Ziyi Zeng, Yanchao Li, Jingyi Liang, Junying Chen, Yunjin Yang, Jiajun You, Shuzhi Deng, Tongfei Wang, Wanting Chen, Chunxiu Hao, Ruiqi Xie, Zhenwei Wen, Xiangyi Feng, Zou Ting, Jin Zou Lin, Jianquan Li, Guangjun Yu, Liangyi Chen, Junwen Wang, Shan Jiang, Benyou Wang
cs.AI
Resumo
A interpretação confiável de dados multimodais em odontologia é essencial para a assistência odontológica automatizada, no entanto, os atuais modelos de linguagem multimodal (MLLMs) lutam para capturar detalhes visuais odontológicos refinados e carecem de capacidade de raciocínio suficiente para diagnósticos precisos. Para superar essas limitações, apresentamos o DentalGPT, um MLLM odontológico especializado desenvolvido por meio de injeção de conhecimento de domínio de alta qualidade e aprendizado por reforço. Especificamente, o maior conjunto de dados multimodais anotado para odontologia até hoje foi construído agregando mais de 120 mil imagens odontológicas emparelhadas com descrições detalhadas que destacam características visuais clinicamente relevantes, tornando-o o conjunto de dados multimodal com a coleção mais extensa de imagens odontológicas até à data. O treinamento neste conjunto de dados melhora significativamente a compreensão visual do MLLM sobre condições odontológicas, enquanto a fase subsequente de aprendizado por reforço fortalece ainda mais sua capacidade de raciocínio complexo multimodal. Avaliações abrangentes em benchmarks de imagens intraorais e panorâmicas, juntamente com subconjuntos odontológicos de benchmarks de VQA médica, mostram que o DentalGPT alcança desempenho superior em tarefas de classificação de doenças e VQA odontológico, superando muitos MLLMs de última geração apesar de possuir apenas 7 bilhões de parâmetros. Estes resultados demonstram que dados odontológicos de alta qualidade combinados com adaptação em etapas fornecem um caminho eficaz para a construção de MLLMs odontológicos capacitados e especializados no domínio.
English
Reliable interpretation of multimodal data in dentistry is essential for automated oral healthcare, yet current multimodal large language models (MLLMs) struggle to capture fine-grained dental visual details and lack sufficient reasoning ability for precise diagnosis. To address these limitations, we present DentalGPT, a specialized dental MLLM developed through high-quality domain knowledge injection and reinforcement learning. Specifically, the largest annotated multimodal dataset for dentistry to date was constructed by aggregating over 120k dental images paired with detailed descriptions that highlight diagnostically relevant visual features, making it the multimodal dataset with the most extensive collection of dental images to date. Training on this dataset significantly enhances the MLLM's visual understanding of dental conditions, while the subsequent reinforcement learning stage further strengthens its capability for multimodal complex reasoning. Comprehensive evaluations on intraoral and panoramic benchmarks, along with dental subsets of medical VQA benchmarks, show that DentalGPT achieves superior performance in disease classification and dental VQA tasks, outperforming many state-of-the-art MLLMs despite having only 7B parameters. These results demonstrate that high-quality dental data combined with staged adaptation provides an effective pathway for building capable and domain-specialized dental MLLMs.