DentalGPT: Anreize für multimodales komplexes Denken in der Zahnmedizin
DentalGPT: Incentivizing Multimodal Complex Reasoning in Dentistry
December 12, 2025
papers.authors: Zhenyang Cai, Jiaming Zhang, Junjie Zhao, Ziyi Zeng, Yanchao Li, Jingyi Liang, Junying Chen, Yunjin Yang, Jiajun You, Shuzhi Deng, Tongfei Wang, Wanting Chen, Chunxiu Hao, Ruiqi Xie, Zhenwei Wen, Xiangyi Feng, Zou Ting, Jin Zou Lin, Jianquan Li, Guangjun Yu, Liangyi Chen, Junwen Wang, Shan Jiang, Benyou Wang
cs.AI
papers.abstract
Eine zuverlässige Interpretation multimodaler Daten in der Zahnmedizin ist entscheidend für automatisierte Mundgesundheitsversorgung, doch aktuelle multimodale Large Language Models (MLLMs) haben Schwierigkeiten, feingranulare zahnmedizinische visuelle Details zu erfassen und verfügen nicht über ausreichende Fähigkeiten zur präzisen Diagnose. Um diese Einschränkungen zu adressieren, präsentieren wir DentalGPT, ein spezialisiertes zahnmedizinisches MLLM, das durch hochwertige Domänenwissensintegration und bestärkendes Lernen entwickelt wurde. Konkret wurde der bisher größte annotierte multimodale Datensatz für die Zahnmedizin erstellt, indem über 120.000 Zahnbilder mit detaillierten Beschreibungen kombiniert wurden, die diagnostisch relevante visuelle Merkmale hervorheben. Dies macht ihn zum multimodalen Datensatz mit der umfangreichsten Sammlung zahnmedizinischer Bilder bis heute. Das Training auf diesem Datensatz verbessert signifikant das visuelle Verständnis des MLLMs für zahnmedizinische Zustände, während die anschließende Phase des bestärkenden Lernens seine Fähigkeit zum multimodalen komplexen Schlussfolgern weiter stärkt. Umfassende Evaluierungen auf Intraoral- und Panorama-Benchmarks sowie zahnmedizinischen Teilmengen medizinischer VQA-Benchmarks zeigen, dass DentalGPT bei Krankheitsklassifikation und dentalen VQA-Aufgaben überlegene Leistung erzielt und viele state-of-the-art MLLMs übertrifft, obwohl es nur 7B Parameter hat. Diese Ergebnisse demonstrieren, dass hochwertige zahnmedizinische Daten kombiniert mit abgestufter Anpassung einen effektiven Weg zur Entwicklung leistungsfähiger und domänenspezialisierter dentaler MLLMs bieten.
English
Reliable interpretation of multimodal data in dentistry is essential for automated oral healthcare, yet current multimodal large language models (MLLMs) struggle to capture fine-grained dental visual details and lack sufficient reasoning ability for precise diagnosis. To address these limitations, we present DentalGPT, a specialized dental MLLM developed through high-quality domain knowledge injection and reinforcement learning. Specifically, the largest annotated multimodal dataset for dentistry to date was constructed by aggregating over 120k dental images paired with detailed descriptions that highlight diagnostically relevant visual features, making it the multimodal dataset with the most extensive collection of dental images to date. Training on this dataset significantly enhances the MLLM's visual understanding of dental conditions, while the subsequent reinforcement learning stage further strengthens its capability for multimodal complex reasoning. Comprehensive evaluations on intraoral and panoramic benchmarks, along with dental subsets of medical VQA benchmarks, show that DentalGPT achieves superior performance in disease classification and dental VQA tasks, outperforming many state-of-the-art MLLMs despite having only 7B parameters. These results demonstrate that high-quality dental data combined with staged adaptation provides an effective pathway for building capable and domain-specialized dental MLLMs.