Automatische Differentialdiagnose mithilfe von Transformer-basierter Multi-Label Sequenzklassifizierung.

Automatic Differential Diagnosis using Transformer-Based Multi-Label Sequence Classification

August 28, 2024

Autoren: Abu Adnan Sadi, Mohammad Ashrafuzzaman Khan, Lubaba Binte Saber

cs.AI

Zusammenfassung

Mit dem Fortschreiten des Gebiets der künstlichen Intelligenz werden assistive Technologien in zunehmendem Maße in allen Branchen eingesetzt. Die Gesundheitsbranche bildet hier keine Ausnahme, mit zahlreichen Studien, die durchgeführt werden, um assistive Werkzeuge für medizinisches Fachpersonal zu entwickeln. Automatische Diagnosesysteme sind ein solches nützliches Werkzeug, das bei einer Vielzahl von Aufgaben unterstützen kann, darunter die Erfassung von Patienteninformationen, die Analyse von Testergebnissen und die Diagnose von Patienten. Allerdings wurde die Idee, Systeme zu entwickeln, die eine differenzierte Diagnose liefern können, in den meisten dieser Forschungsstudien weitgehend übersehen. In dieser Studie schlagen wir einen auf Transformer basierenden Ansatz zur Bereitstellung differenzierter Diagnosen basierend auf dem Alter, Geschlecht, der Krankengeschichte und den Symptomen eines Patienten vor. Wir verwenden das DDXPlus-Datenset, das differenzierte Diagnoseinformationen für Patienten basierend auf 49 Krankheitstypen bereitstellt. Zunächst schlagen wir eine Methode vor, um die tabellarischen Patientendaten aus dem Datenset zu verarbeiten und sie in Patientenberichte umzuwandeln, um sie für unsere Forschung geeignet zu machen. Darüber hinaus führen wir zwei Datenmodifikationsmodule ein, um die Trainingsdaten zu diversifizieren und somit die Robustheit der Modelle zu verbessern. Wir betrachten die Aufgabe als ein Multi-Label-Klassifikationsproblem und führen umfangreiche Experimente mit vier Transformer-Modellen durch. Alle Modelle zeigten vielversprechende Ergebnisse, indem sie auf dem zurückgehaltenen Testdatensatz eine F1-Score von über 97% erreichten. Darüber hinaus entwerfen wir zusätzliche Verhaltenstests, um ein umfassenderes Verständnis der Modelle zu erhalten. Insbesondere haben wir für einen unserer Testfälle einen benutzerdefinierten Testdatensatz mit 100 Proben unter Mitwirkung eines Arztes erstellt. Die Ergebnisse des benutzerdefinierten Datensatzes zeigten, dass unsere vorgeschlagenen Datenmodifikationsmodule die Verallgemeinerungsfähigkeiten des Modells verbesserten. Wir hoffen, dass unsere Ergebnisse zukünftigen Forschern wertvolle Einblicke liefern und sie dazu inspirieren werden, zuverlässige Systeme für automatische differenzierte Diagnosen zu entwickeln.

English

As the field of artificial intelligence progresses, assistive technologies are becoming more widely used across all industries. The healthcare industry is no different, with numerous studies being done to develop assistive tools for healthcare professionals. Automatic diagnostic systems are one such beneficial tool that can assist with a variety of tasks, including collecting patient information, analyzing test results, and diagnosing patients. However, the idea of developing systems that can provide a differential diagnosis has been largely overlooked in most of these research studies. In this study, we propose a transformer-based approach for providing differential diagnoses based on a patient's age, sex, medical history, and symptoms. We use the DDXPlus dataset, which provides differential diagnosis information for patients based on 49 disease types. Firstly, we propose a method to process the tabular patient data from the dataset and engineer them into patient reports to make them suitable for our research. In addition, we introduce two data modification modules to diversify the training data and consequently improve the robustness of the models. We approach the task as a multi-label classification problem and conduct extensive experiments using four transformer models. All the models displayed promising results by achieving over 97% F1 score on the held-out test set. Moreover, we design additional behavioral tests to get a broader understanding of the models. In particular, for one of our test cases, we prepared a custom test set of 100 samples with the assistance of a doctor. The results on the custom set showed that our proposed data modification modules improved the model's generalization capabilities. We hope our findings will provide future researchers with valuable insights and inspire them to develop reliable systems for automatic differential diagnosis.