Автоматическая дифференциальная диагностика с использованием мультиклассовой классификации последовательностей на основе трансформера.

Automatic Differential Diagnosis using Transformer-Based Multi-Label Sequence Classification

August 28, 2024

Авторы: Abu Adnan Sadi, Mohammad Ashrafuzzaman Khan, Lubaba Binte Saber

cs.AI

Аннотация

По мере развития области искусственного интеллекта, технологии помощи становятся все более широко используемыми во всех отраслях. Здравоохранение не является исключением, и проводится множество исследований для разработки вспомогательных инструментов для медицинских специалистов. Автоматические диагностические системы являются одним из таких полезных инструментов, которые могут помочь с различными задачами, включая сбор информации о пациенте, анализ результатов тестов и постановку диагноза. Однако идея разработки систем, способных предоставлять дифференциальный диагноз, в большинстве исследований была в значительной степени пренебрежена. В данном исследовании мы предлагаем подход на основе трансформера для предоставления дифференциальных диагнозов на основе возраста пациента, пола, медицинской истории и симптомов. Мы используем набор данных DDXPlus, который предоставляет информацию о дифференциальном диагнозе для пациентов на основе 49 типов заболеваний. Во-первых, мы предлагаем метод обработки табличных данных пациента из набора данных и преобразования их в отчеты о пациенте для их адаптации к нашему исследованию. Кроме того, мы вводим два модуля модификации данных для разнообразия тренировочных данных и, следовательно, улучшения устойчивости моделей. Мы подходим к задаче как к проблеме многоклассовой классификации и проводим обширные эксперименты с использованием четырех моделей трансформера. Все модели продемонстрировали многообещающие результаты, достигнув более 97% F1-оценки на тестовом наборе. Более того, мы разрабатываем дополнительные поведенческие тесты для получения более широкого понимания моделей. В частности, для одного из наших тестов мы подготовили специальный тестовый набор из 100 образцов с помощью врача. Результаты на специальном наборе показали, что наши предложенные модули модификации данных улучшили способности обобщения модели. Мы надеемся, что наши результаты предоставят будущим исследователям ценные идеи и вдохновят их разрабатывать надежные системы для автоматического дифференциального диагноза.

English

As the field of artificial intelligence progresses, assistive technologies are becoming more widely used across all industries. The healthcare industry is no different, with numerous studies being done to develop assistive tools for healthcare professionals. Automatic diagnostic systems are one such beneficial tool that can assist with a variety of tasks, including collecting patient information, analyzing test results, and diagnosing patients. However, the idea of developing systems that can provide a differential diagnosis has been largely overlooked in most of these research studies. In this study, we propose a transformer-based approach for providing differential diagnoses based on a patient's age, sex, medical history, and symptoms. We use the DDXPlus dataset, which provides differential diagnosis information for patients based on 49 disease types. Firstly, we propose a method to process the tabular patient data from the dataset and engineer them into patient reports to make them suitable for our research. In addition, we introduce two data modification modules to diversify the training data and consequently improve the robustness of the models. We approach the task as a multi-label classification problem and conduct extensive experiments using four transformer models. All the models displayed promising results by achieving over 97% F1 score on the held-out test set. Moreover, we design additional behavioral tests to get a broader understanding of the models. In particular, for one of our test cases, we prepared a custom test set of 100 samples with the assistance of a doctor. The results on the custom set showed that our proposed data modification modules improved the model's generalization capabilities. We hope our findings will provide future researchers with valuable insights and inspire them to develop reliable systems for automatic differential diagnosis.