Explorando la Relación Investigación-Diagnóstico con Simuladores Avanzados de Pacientes

Exploring the Inquiry-Diagnosis Relationship with Advanced Patient Simulators

January 16, 2025

Autores: Zhaocheng Liu, Quan Tu, Wen Ye, Yu Xiao, Zhishou Zhang, Hengfu Cui, Yalun Zhu, Qiang Ju, Shizheng Li, Jian Xie

cs.AI

Resumen

La consulta médica en línea (OMC) restringe a los médicos a recopilar información del paciente únicamente a través de preguntas, lo que hace que el ya complejo proceso de toma de decisiones secuencial de diagnóstico sea aún más desafiante. Recientemente, el rápido avance de los grandes modelos de lenguaje ha demostrado un potencial significativo para transformar la OMC. Sin embargo, la mayoría de los estudios se han centrado principalmente en mejorar la precisión diagnóstica bajo condiciones de información relativamente suficiente, prestando poca atención a la fase de "consulta" del proceso de consulta. Esta falta de enfoque ha dejado insuficientemente explorada la relación entre "consulta" y "diagnóstico". En este documento, primero extraemos estrategias de interacción reales de pacientes a partir de conversaciones auténticas entre médicos y pacientes, y utilizamos estas estrategias para guiar el entrenamiento de un simulador de pacientes que refleja de cerca el comportamiento del mundo real. Al introducir registros médicos en nuestro simulador de pacientes para simular respuestas de pacientes, realizamos experimentos extensos para explorar la relación entre "consulta" y "diagnóstico" en el proceso de consulta. Los resultados experimentales demuestran que la consulta y el diagnóstico siguen la ley de Liebig: una baja calidad en la consulta limita la efectividad del diagnóstico, independientemente de la capacidad diagnóstica, y viceversa. Además, los experimentos revelan diferencias significativas en el rendimiento de la consulta de varios modelos. Para investigar este fenómeno, categorizamos el proceso de consulta en cuatro tipos: (1) consulta sobre el motivo principal; (2) especificación de síntomas conocidos; (3) consulta sobre síntomas acompañantes; y (4) recopilación de antecedentes familiares o médicos. Analizamos la distribución de consultas en los cuatro tipos para diferentes modelos para explorar las razones detrás de sus diferencias significativas de rendimiento. Planeamos hacer públicos los pesos y el código relacionado de nuestro simulador de pacientes en https://github.com/LIO-H-ZEN/PatientSimulator.

English

Online medical consultation (OMC) restricts doctors to gathering patient information solely through inquiries, making the already complex sequential decision-making process of diagnosis even more challenging. Recently, the rapid advancement of large language models has demonstrated a significant potential to transform OMC. However, most studies have primarily focused on improving diagnostic accuracy under conditions of relatively sufficient information, while paying limited attention to the "inquiry" phase of the consultation process. This lack of focus has left the relationship between "inquiry" and "diagnosis" insufficiently explored. In this paper, we first extract real patient interaction strategies from authentic doctor-patient conversations and use these strategies to guide the training of a patient simulator that closely mirrors real-world behavior. By inputting medical records into our patient simulator to simulate patient responses, we conduct extensive experiments to explore the relationship between "inquiry" and "diagnosis" in the consultation process. Experimental results demonstrate that inquiry and diagnosis adhere to the Liebig's law: poor inquiry quality limits the effectiveness of diagnosis, regardless of diagnostic capability, and vice versa. Furthermore, the experiments reveal significant differences in the inquiry performance of various models. To investigate this phenomenon, we categorize the inquiry process into four types: (1) chief complaint inquiry; (2) specification of known symptoms; (3) inquiry about accompanying symptoms; and (4) gathering family or medical history. We analyze the distribution of inquiries across the four types for different models to explore the reasons behind their significant performance differences. We plan to open-source the weights and related code of our patient simulator at https://github.com/LIO-H-ZEN/PatientSimulator.