Diagnóstico Diferencial Automático utilizando Clasificación de Secuencias Multietiqueta basada en Transformadores

Automatic Differential Diagnosis using Transformer-Based Multi-Label Sequence Classification

August 28, 2024

Autores: Abu Adnan Sadi, Mohammad Ashrafuzzaman Khan, Lubaba Binte Saber

cs.AI

Resumen

A medida que avanza el campo de la inteligencia artificial, las tecnologías de asistencia están siendo cada vez más utilizadas en todas las industrias. La industria de la salud no es una excepción, con numerosos estudios realizados para desarrollar herramientas de asistencia para profesionales de la salud. Los sistemas de diagnóstico automático son una herramienta beneficiosa que puede ayudar en una variedad de tareas, incluyendo la recopilación de información del paciente, el análisis de resultados de pruebas y el diagnóstico de pacientes. Sin embargo, la idea de desarrollar sistemas que puedan proporcionar un diagnóstico diferencial ha sido ampliamente pasada por alto en la mayoría de estos estudios de investigación. En este estudio, proponemos un enfoque basado en transformadores para proporcionar diagnósticos diferenciales basados en la edad, sexo, historial médico y síntomas de un paciente. Utilizamos el conjunto de datos DDXPlus, que proporciona información de diagnóstico diferencial para pacientes basada en 49 tipos de enfermedades. En primer lugar, proponemos un método para procesar los datos del paciente en forma tabular del conjunto de datos y transformarlos en informes de pacientes para hacerlos adecuados para nuestra investigación. Además, introducimos dos módulos de modificación de datos para diversificar los datos de entrenamiento y, en consecuencia, mejorar la robustez de los modelos. Abordamos la tarea como un problema de clasificación multietiqueta y realizamos experimentos extensos utilizando cuatro modelos de transformadores. Todos los modelos mostraron resultados prometedores al lograr más del 97% de puntuación F1 en el conjunto de prueba retenido. Además, diseñamos pruebas de comportamiento adicionales para obtener una comprensión más amplia de los modelos. En particular, para uno de nuestros casos de prueba, preparamos un conjunto de pruebas personalizado de 100 muestras con la asistencia de un médico. Los resultados en el conjunto personalizado mostraron que nuestros módulos de modificación de datos propuestos mejoraron las capacidades de generalización del modelo. Esperamos que nuestros hallazgos proporcionen a los futuros investigadores ideas valiosas e inspirarlos a desarrollar sistemas confiables para el diagnóstico diferencial automático.

English

As the field of artificial intelligence progresses, assistive technologies are becoming more widely used across all industries. The healthcare industry is no different, with numerous studies being done to develop assistive tools for healthcare professionals. Automatic diagnostic systems are one such beneficial tool that can assist with a variety of tasks, including collecting patient information, analyzing test results, and diagnosing patients. However, the idea of developing systems that can provide a differential diagnosis has been largely overlooked in most of these research studies. In this study, we propose a transformer-based approach for providing differential diagnoses based on a patient's age, sex, medical history, and symptoms. We use the DDXPlus dataset, which provides differential diagnosis information for patients based on 49 disease types. Firstly, we propose a method to process the tabular patient data from the dataset and engineer them into patient reports to make them suitable for our research. In addition, we introduce two data modification modules to diversify the training data and consequently improve the robustness of the models. We approach the task as a multi-label classification problem and conduct extensive experiments using four transformer models. All the models displayed promising results by achieving over 97% F1 score on the held-out test set. Moreover, we design additional behavioral tests to get a broader understanding of the models. In particular, for one of our test cases, we prepared a custom test set of 100 samples with the assistance of a doctor. The results on the custom set showed that our proposed data modification modules improved the model's generalization capabilities. We hope our findings will provide future researchers with valuable insights and inspire them to develop reliable systems for automatic differential diagnosis.