Automatische Differentiële Diagnose met Transformer-Gebaseerde Multi-Label Sequentieclassificatie

Automatic Differential Diagnosis using Transformer-Based Multi-Label Sequence Classification

August 28, 2024

Auteurs: Abu Adnan Sadi, Mohammad Ashrafuzzaman Khan, Lubaba Binte Saber

cs.AI

Samenvatting

Naarmate het vakgebied van kunstmatige intelligentie vordert, worden ondersteunende technologieën steeds breder ingezet in alle sectoren. De gezondheidszorg vormt hierop geen uitzondering, met talrijke studies die worden uitgevoerd om hulpmiddelen te ontwikkelen voor zorgprofessionals. Automatische diagnosesystemen zijn een dergelijk nuttig hulpmiddel dat kan assisteren bij diverse taken, waaronder het verzamelen van patiëntinformatie, het analyseren van testresultaten en het diagnosticeren van patiënten. Het idee om systemen te ontwikkelen die een differentiële diagnose kunnen stellen, is echter grotendeels over het hoofd gezien in het merendeel van deze onderzoeken. In deze studie stellen we een transformer-gebaseerde aanpak voor om differentiële diagnoses te stellen op basis van de leeftijd, het geslacht, de medische geschiedenis en de symptomen van een patiënt. We gebruiken de DDXPlus-dataset, die informatie verschaft over differentiële diagnoses voor patiënten op basis van 49 ziektebeelden. Ten eerste stellen we een methode voor om de tabelvormige patiëntgegevens uit de dataset te verwerken en om te zetten in patiëntrapporten, zodat ze geschikt zijn voor ons onderzoek. Daarnaast introduceren we twee gegevensmodificatiemodules om de trainingsgegevens te diversifiëren en daardoor de robuustheid van de modellen te verbeteren. We benaderen de taak als een multi-label classificatieprobleem en voeren uitgebreide experimenten uit met vier transformer-modellen. Alle modellen toonden veelbelovende resultaten door een F1-score van meer dan 97% te behalen op de afgezonderde testset. Bovendien ontwerpen we aanvullende gedragstests om een breder inzicht te krijgen in de modellen. Specifiek voor een van onze testcases hebben we een aangepaste testset van 100 samples voorbereid met behulp van een arts. De resultaten op de aangepaste set toonden aan dat onze voorgestelde gegevensmodificatiemodules de generalisatiecapaciteiten van het model verbeterden. We hopen dat onze bevindingen toekomstige onderzoekers waardevolle inzichten zullen bieden en hen zullen inspireren om betrouwbare systemen te ontwikkelen voor automatische differentiële diagnose.

English

As the field of artificial intelligence progresses, assistive technologies are becoming more widely used across all industries. The healthcare industry is no different, with numerous studies being done to develop assistive tools for healthcare professionals. Automatic diagnostic systems are one such beneficial tool that can assist with a variety of tasks, including collecting patient information, analyzing test results, and diagnosing patients. However, the idea of developing systems that can provide a differential diagnosis has been largely overlooked in most of these research studies. In this study, we propose a transformer-based approach for providing differential diagnoses based on a patient's age, sex, medical history, and symptoms. We use the DDXPlus dataset, which provides differential diagnosis information for patients based on 49 disease types. Firstly, we propose a method to process the tabular patient data from the dataset and engineer them into patient reports to make them suitable for our research. In addition, we introduce two data modification modules to diversify the training data and consequently improve the robustness of the models. We approach the task as a multi-label classification problem and conduct extensive experiments using four transformer models. All the models displayed promising results by achieving over 97% F1 score on the held-out test set. Moreover, we design additional behavioral tests to get a broader understanding of the models. In particular, for one of our test cases, we prepared a custom test set of 100 samples with the assistance of a doctor. The results on the custom set showed that our proposed data modification modules improved the model's generalization capabilities. We hope our findings will provide future researchers with valuable insights and inspire them to develop reliable systems for automatic differential diagnosis.