OralGPT-Omni：多機能な歯科マルチモーダル大規模言語モデル

OralGPT-Omni: A Versatile Dental Multimodal Large Language Model

November 27, 2025

著者: Jing Hao, Yuci Liang, Lizhuo Lin, Yuxuan Fan, Wenkai Zhou, Kaixin Guo, Zanting Ye, Yanpeng Sun, Xinyu Zhang, Yanqi Yang, Qiankun Li, Hao Tang, James Kit-Hon Tsoi, Linlin Shen, Kuo Feng Hung

cs.AI

要旨

マルチモーダル大規模言語モデル（MLLM）は多くの医療分野で大きな可能性を示しているが、歯科学分野では十分に研究が進んでいない。これは、領域特化データの不足、歯科専門家による注釈の乏しさ、モダリティ特有のモデリングの不備、信頼性に関する課題などが部分的に原因である。本論文では、多様な歯科画像モダリティと臨床タスクを対象とした、包括的かつ信頼性の高い分析を可能にする初の歯科特化MLLMであるOralGPT-Omniを提案する。歯科医の診断推論を明示的に捉えるため、歯科放射線科医の意思決定プロセスを反映した臨床基盤型チェーン・オブ・ソートデータセット「TRACE-CoT」を構築した。この推論的監督と、提案する4段階トレーニングパラダイムを組み合わせることで、歯科画像の理解と分析におけるモデルの能力を大幅に強化した。並行して、歯科画像分析における初の統一マルチモーダルベンチマーク「MMOral-Uni」を導入する。これは5つのモダリティと5つのタスクにわたる2,809組のオープンエンドな質問応答ペアから構成され、デジタル歯科におけるMLLMの包括的な評価環境を提供する。OralGPT-Omniは、MMOral-Uniベンチマークで総合スコア51.84、MMOral-OPGベンチマークで45.31を達成し、GPT-5のスコアを大幅に上回った。我々の研究は知能歯科学の発展を促進し、歯科画像分析の将来の進歩への道を開くものである。全てのコード、ベンチマーク、モデルは公開予定である。

English

Multimodal Large Language Models (MLLMs) have exhibited immense potential across numerous medical specialties; yet, dentistry remains underexplored, in part due to limited domain-specific data, scarce dental expert annotations, insufficient modality-specific modeling, and challenges in reliability. In this paper, we present OralGPT-Omni, the first dental-specialized MLLM designed for comprehensive and trustworthy analysis across diverse dental imaging modalities and clinical tasks. To explicitly capture dentists' diagnostic reasoning, we construct TRACE-CoT, a clinically grounded chain-of-thought dataset that mirrors dental radiologists' decision-making processes. This reasoning supervision, combined with our proposed four-stage training paradigm, substantially strengthens the model's capacity for dental image understanding and analysis. In parallel, we introduce MMOral-Uni, the first unified multimodal benchmark for dental image analysis. It comprises 2,809 open-ended question-answer pairs spanning five modalities and five tasks, offering a comprehensive evaluation suite to date for MLLMs in digital dentistry. OralGPT-Omni achieves an overall score of 51.84 on the MMOral-Uni benchmark and 45.31 on the MMOral-OPG benchmark, dramatically outperforming the scores of GPT-5. Our work promotes intelligent dentistry and paves the way for future advances in dental image analysis. All code, benchmark, and models will be made publicly available.