트랜스포머 기반 다중 레이블 시퀀스 분류를 사용한 자동 차별 진단

Automatic Differential Diagnosis using Transformer-Based Multi-Label Sequence Classification

August 28, 2024

저자: Abu Adnan Sadi, Mohammad Ashrafuzzaman Khan, Lubaba Binte Saber

cs.AI

초록

인공지능 분야가 발전함에 따라 보조 기술은 모든 산업에서 점점 더 널리 사용되고 있습니다. 의료 산업도 예외는 아니며, 수많은 연구가 의료 전문가들을 위한 보조 도구를 개발하기 위해 수행되고 있습니다. 자동 진단 시스템은 환자 정보 수집, 검사 결과 분석, 환자 진단 등 다양한 작업을 지원할 수 있는 유용한 도구 중 하나입니다. 그러나 대부분의 연구에서는 차별 진단을 제공할 수 있는 시스템을 개발하는 아이디어가 크게 간과되었습니다. 본 연구에서는 환자의 연령, 성별, 의료 기록 및 증상을 기반으로 차별 진단을 제공하기 위한 트랜스포머 기반 접근 방식을 제안합니다. 우리는 49가지 질병 유형을 기반으로 환자에 대한 차별 진단 정보를 제공하는 DDXPlus 데이터셋을 사용합니다. 먼저, 데이터셋에서의 표 형식의 환자 데이터를 처리하고 연구에 적합하도록 환자 보고서로 변환하는 방법을 제안합니다. 또한, 훈련 데이터를 다양화하고 모델의 견고성을 향상시키기 위해 두 가지 데이터 수정 모듈을 소개합니다. 우리는 이 작업을 다중 레이블 분류 문제로 접근하고 네 가지 트랜스포머 모델을 사용하여 포괄적인 실험을 수행합니다. 모든 모델은 보유한 테스트 세트에서 97% 이상의 F1 점수를 달성함으로써 유망한 결과를 보여주었습니다. 더불어, 모델을 보다 폭넓게 이해하기 위해 추가적인 행동 테스트를 설계했습니다. 특히, 특정 테스트 케이스 중 하나에서 의사의 지원을 받아 100개의 샘플로 구성된 사용자 정의 테스트 세트를 준비했습니다. 사용자 정의 세트에서의 결과는 우리가 제안한 데이터 수정 모듈이 모델의 일반화 능력을 향상시켰음을 보여주었습니다. 우리의 연구 결과가 미래 연구자들에게 유용한 통찰력을 제공하고 신뢰할 수 있는 자동 차별 진단 시스템을 개발하는데 영감을 줄 것으로 기대합니다.

English

As the field of artificial intelligence progresses, assistive technologies are becoming more widely used across all industries. The healthcare industry is no different, with numerous studies being done to develop assistive tools for healthcare professionals. Automatic diagnostic systems are one such beneficial tool that can assist with a variety of tasks, including collecting patient information, analyzing test results, and diagnosing patients. However, the idea of developing systems that can provide a differential diagnosis has been largely overlooked in most of these research studies. In this study, we propose a transformer-based approach for providing differential diagnoses based on a patient's age, sex, medical history, and symptoms. We use the DDXPlus dataset, which provides differential diagnosis information for patients based on 49 disease types. Firstly, we propose a method to process the tabular patient data from the dataset and engineer them into patient reports to make them suitable for our research. In addition, we introduce two data modification modules to diversify the training data and consequently improve the robustness of the models. We approach the task as a multi-label classification problem and conduct extensive experiments using four transformer models. All the models displayed promising results by achieving over 97% F1 score on the held-out test set. Moreover, we design additional behavioral tests to get a broader understanding of the models. In particular, for one of our test cases, we prepared a custom test set of 100 samples with the assistance of a doctor. The results on the custom set showed that our proposed data modification modules improved the model's generalization capabilities. We hope our findings will provide future researchers with valuable insights and inspire them to develop reliable systems for automatic differential diagnosis.