CoD, Op weg naar een interpreteerbare medische agent met behulp van een keten van diagnoses

CoD, Towards an Interpretable Medical Agent using Chain of Diagnosis

July 18, 2024

Auteurs: Junying Chen, Chi Gui, Anningzhe Gao, Ke Ji, Xidong Wang, Xiang Wan, Benyou Wang

cs.AI

Samenvatting

Het vakgebied van medische diagnostiek heeft een aanzienlijke transformatie ondergaan met de opkomst van grote taalmmodellen (LLM's), maar de uitdagingen rondom interpreteerbaarheid binnen deze modellen blijven grotendeels onopgelost. Deze studie introduceert Chain-of-Diagnosis (CoD) om de interpreteerbaarheid van LLM-gebaseerde medische diagnostiek te verbeteren. CoD transformeert het diagnostische proces in een diagnostische keten die het denkproces van een arts weerspiegelt, waardoor een transparant redeneerpad ontstaat. Daarnaast geeft CoD de ziektevertrouwensverdeling weer om transparantie in de besluitvorming te waarborgen. Deze interpreteerbaarheid maakt modeldiagnostiek beheersbaar en helpt bij het identificeren van kritieke symptomen voor verder onderzoek door middel van entropiereductie van vertrouwenswaarden. Met CoD hebben we DiagnosisGPT ontwikkeld, dat in staat is om 9604 ziekten te diagnosticeren. Experimentele resultaten tonen aan dat DiagnosisGPT andere LLM's overtreft op diagnostische benchmarks. Bovendien biedt DiagnosisGPT interpreteerbaarheid terwijl het de beheersbaarheid van diagnostische nauwkeurigheid waarborgt.

English

The field of medical diagnosis has undergone a significant transformation with the advent of large language models (LLMs), yet the challenges of interpretability within these models remain largely unaddressed. This study introduces Chain-of-Diagnosis (CoD) to enhance the interpretability of LLM-based medical diagnostics. CoD transforms the diagnostic process into a diagnostic chain that mirrors a physician's thought process, providing a transparent reasoning pathway. Additionally, CoD outputs the disease confidence distribution to ensure transparency in decision-making. This interpretability makes model diagnostics controllable and aids in identifying critical symptoms for inquiry through the entropy reduction of confidences. With CoD, we developed DiagnosisGPT, capable of diagnosing 9604 diseases. Experimental results demonstrate that DiagnosisGPT outperforms other LLMs on diagnostic benchmarks. Moreover, DiagnosisGPT provides interpretability while ensuring controllability in diagnostic rigor.