DentalGPT: Incentivando el Razonamiento Complejo Multimodal en Odontología
DentalGPT: Incentivizing Multimodal Complex Reasoning in Dentistry
December 12, 2025
Autores: Zhenyang Cai, Jiaming Zhang, Junjie Zhao, Ziyi Zeng, Yanchao Li, Jingyi Liang, Junying Chen, Yunjin Yang, Jiajun You, Shuzhi Deng, Tongfei Wang, Wanting Chen, Chunxiu Hao, Ruiqi Xie, Zhenwei Wen, Xiangyi Feng, Zou Ting, Jin Zou Lin, Jianquan Li, Guangjun Yu, Liangyi Chen, Junwen Wang, Shan Jiang, Benyou Wang
cs.AI
Resumen
La interpretación fiable de datos multimodales en odontología es esencial para la atención bucodental automatizada, sin embargo, los modelos de lenguaje multimodal (MLLMs) actuales tienen dificultades para capturar detalles visuales dentales de grano fino y carecen de capacidad de razonamiento suficiente para diagnósticos precisos. Para abordar estas limitaciones, presentamos DentalGPT, un MLLM dental especializado desarrollado mediante inyección de conocimiento del dominio de alta calidad y aprendizaje por refuerzo. Específicamente, se construyó el conjunto de datos multimodal anotado más grande hasta la fecha para odontología, agregando más de 120.000 imágenes dentales emparejadas con descripciones detalladas que resaltan características visuales relevantes para el diagnóstico, convirtiéndolo en el conjunto de datos multimodal con la colección más extensa de imágenes dentales hasta ahora. El entrenamiento con este conjunto de datos mejora significativamente la comprensión visual del MLLM sobre condiciones dentales, mientras que la etapa posterior de aprendizaje por refuerzo fortalece aún más su capacidad para el razonamiento complejo multimodal. Evaluaciones exhaustivas en benchmarks de intraorales y panorámicas, junto con subconjuntos dentales de benchmarks médicos de VQA, muestran que DentalGPT logra un rendimiento superior en tareas de clasificación de enfermedades y VQA dental, superando a muchos MLLMs de vanguardia a pesar de tener solo 7B de parámetros. Estos resultados demuestran que los datos dentales de alta calidad combinados con una adaptación escalonada proporcionan una vía efectiva para construir MLLMs dentales capaces y especializados en el dominio.
English
Reliable interpretation of multimodal data in dentistry is essential for automated oral healthcare, yet current multimodal large language models (MLLMs) struggle to capture fine-grained dental visual details and lack sufficient reasoning ability for precise diagnosis. To address these limitations, we present DentalGPT, a specialized dental MLLM developed through high-quality domain knowledge injection and reinforcement learning. Specifically, the largest annotated multimodal dataset for dentistry to date was constructed by aggregating over 120k dental images paired with detailed descriptions that highlight diagnostically relevant visual features, making it the multimodal dataset with the most extensive collection of dental images to date. Training on this dataset significantly enhances the MLLM's visual understanding of dental conditions, while the subsequent reinforcement learning stage further strengthens its capability for multimodal complex reasoning. Comprehensive evaluations on intraoral and panoramic benchmarks, along with dental subsets of medical VQA benchmarks, show that DentalGPT achieves superior performance in disease classification and dental VQA tasks, outperforming many state-of-the-art MLLMs despite having only 7B parameters. These results demonstrate that high-quality dental data combined with staged adaptation provides an effective pathway for building capable and domain-specialized dental MLLMs.