SymptomAI: Rumo a um Agente de IA Conversacional para Avaliação de Sintomas do Cotidiano

Resumo

Os modelos de linguagem apresentam excelente desempenho em avaliações diagnósticas com base em estudos de caso e vinhetas médicas selecionadas, equiparando-se ou superando profissionais clínicos. No entanto, os estudos existentes concentram-se em cenários complexos com contexto detalhado, dificultando a extração de conclusões sobre o desempenho desses sistemas para pacientes que relatam sintomas no dia a dia. Nós implementámos o SymptomAI, um conjunto de agentes de IA conversacional para entrevista de pacientes e diagnóstico diferencial (DDx) de ponta a ponta, através da aplicação Fitbit num estudo que randomizou participantes (N=13.917) para interagirem com cinco agentes de IA. Este corpus captura uma comunicação diversificada e uma distribuição realista de doenças de uma população do mundo real. Um subconjunto de 1.228 participantes relatou um diagnóstico fornecido por um médico, e 517 destes foram posteriormente avaliados por um painel de clínicos durante mais de 250 horas de anotação. Os diagnósticos diferenciais do SymptomAI foram significativamente mais precisos (OR = 2,47, p < 0,001) do que os de clínicos independentes, quando lhes foi apresentado o mesmo diálogo numa comparação randomizada e cega. Além disso, as estratégias agentes que conduzem uma entrevista de sintomas dedicada para obter informações adicionais antes de fornecer um diagnóstico apresentam um desempenho substancialmente melhor do que as conversas baseadas na orientação do utilizador (linha de base) (p < 0,001). Uma análise auxiliar de 1.509 conversas de um painel representativo da população geral dos EUA validou que estes resultados se generalizam para além dos utilizadores de dispositivos *wearables*. Utilizámos os diagnósticos do SymptomAI como rótulos para todos os 13.917 participantes para analisar mais de 500.000 dias de métricas de *wearables* em quase 400 condições únicas. Identificámos fortes associações entre infeções agudas e alterações fisiológicas (por exemplo, OR > 7 para a influenza). Embora limitados pela verdade terrestre autorrelatada, estes resultados demonstram os benefícios de uma entrevista de sintomos dedicada e completa em comparação com uma discussão de sintomas guiada pelo utilizador, que é o padrão da maioria dos LLM de consumo.

English

Language models excel at diagnostic assessments on currated medical case-studies and vignettes, performing on par with, or better than, clinical professionals. However, existing studies focus on complex scenarios with rich context making it difficult to draw conclusions about how these systems perform for patients reporting symptoms in everyday life. We deployed SymptomAI, a set of conversational AI agents for end-to-end patient interviewing and differential diagnosis (DDx), via the Fitbit app in a study that randomized participants (N=13,917) to interact with five AI agents. This corpus captures diverse communication and a realistic distribution of illnesses from a real world population. A subset of 1,228 participants reported a clinician-provided diagnosis, and 517 of these were further evaluated by a panel of clinicians during over 250 hours of annotation. SymptomAI DDx were significantly more accurate (OR = 2.47, p < 0.001) than those from independent clinicians given the same dialogue in a blinded randomized comparison. Moreover, agentic strategies which conduct a dedicated symptom interview that elicit additional symptom information before providing a diagnosis, perform substantially better than baseline, user-guided conversations (p < 0.001). An auxiliary analysis on 1,509 conversations from a general US population panel validated that these results generalize beyond wearable device users. We used SymptomAI diagnoses as labels for all 13,917 participants to analyze over 500,000 days of wearable metrics across nearly 400 unique conditions. We identified strong associations between acute infections and physiological shifts (e.g., OR > 7 for influenza). While limited by self-reported ground truth, these results demonstrate the benefits of a dedicated and complete symptom interview compared to a user-guided symptom discussion, which is the default of most consumer LLMs.