SymptomAI: Hacia un Agente de IA Conversacional para la Evaluación Cotidiana de Síntomas

SymptomAI: Towards a Conversational AI Agent for Everyday Symptom Assessment

May 5, 2026

Autores: Joseph Breda, Fadi Yousif, Beszel Hawkins, Marinela Cotoi, Miao Liu, Ray Luo, Po-Hsuan Cameron Chen, Mike Schaekermann, Samuel Schmidgall, Xin Liu, Girish Narayanswamy, Samuel Solomon, Maxwell A. Xu, Xiaoran Fan, Longfei Shangguan, Anran Wang, Bhavna Daryani, Buddy Herkenham, Cara Tan, Mark Malhotra, Shwetak Patel, John B. Hernandez, Quang Duong, Yun Liu, Zach Wasson, Dimitrios Antos, Bob Lou, Matthew Thompson, Jonathan Richina, Anupam Pathak, Nichole Young-Lin, Jake Sunshine, Daniel McDuff

cs.AI

Resumen

Los modelos de lenguaje destacan en evaluaciones diagnósticas sobre casos de estudio y viñetas médicas seleccionadas, rindiendo a la par, o mejor, que los profesionales clínicos. Sin embargo, los estudios existentes se centran en escenarios complejos con un contexto muy detallado, lo que dificulta extraer conclusiones sobre cómo funcionan estos sistemas para pacientes que reportan síntomas en la vida cotidiana. Desplegamos SymptomAI, un conjunto de agentes de IA conversacionales para la entrevista paciente y el diagnóstico diferencial de principio a fin, a través de la aplicación Fitbit en un estudio que aleatorizó a los participantes (N=13.917) para interactuar con cinco agentes de IA. Este corpus captura una comunicación diversa y una distribución realista de enfermedades de una población del mundo real. Un subconjunto de 1.228 participantes reportó un diagnóstico proporcionado por un médico, y 517 de estos fueron evaluados adicionalmente por un panel de médicos durante más de 250 horas de anotación. Los diagnósticos diferenciales de SymptomAI fueron significativamente más precisos (OR = 2,47, p < 0,001) que los de médicos independientes a los que se les proporcionó el mismo diálogo en una comparación aleatorizada ciega. Además, las estrategias agentes que realizan una entrevista de síntomas dedicada para obtener información sintomática adicional antes de proporcionar un diagnóstico, funcionan sustancialmente mejor que las conversaciones básicas guiadas por el usuario (p < 0,001). Un análisis auxiliar de 1.509 conversaciones de un panel de la población general de EE. UU. validó que estos resultados son generalizables más allá de los usuarios de dispositivos wearables. Utilizamos los diagnósticos de SymptomAI como etiquetas para los 13.917 participantes para analizar más de 500.000 días de métricas de wearables en cerca de 400 condiciones únicas. Identificamos fuertes asociaciones entre infecciones agudas y cambios fisiológicos (por ejemplo, OR > 7 para la influenza). Aunque están limitados por una verdad de base autorreportada, estos resultados demuestran los beneficios de una entrevista de síntomas dedicada y completa en comparación con una discusión de síntomas guiada por el usuario, que es el estándar en la mayoría de los modelos de lenguaje grandes de consumo.

English

Language models excel at diagnostic assessments on currated medical case-studies and vignettes, performing on par with, or better than, clinical professionals. However, existing studies focus on complex scenarios with rich context making it difficult to draw conclusions about how these systems perform for patients reporting symptoms in everyday life. We deployed SymptomAI, a set of conversational AI agents for end-to-end patient interviewing and differential diagnosis (DDx), via the Fitbit app in a study that randomized participants (N=13,917) to interact with five AI agents. This corpus captures diverse communication and a realistic distribution of illnesses from a real world population. A subset of 1,228 participants reported a clinician-provided diagnosis, and 517 of these were further evaluated by a panel of clinicians during over 250 hours of annotation. SymptomAI DDx were significantly more accurate (OR = 2.47, p < 0.001) than those from independent clinicians given the same dialogue in a blinded randomized comparison. Moreover, agentic strategies which conduct a dedicated symptom interview that elicit additional symptom information before providing a diagnosis, perform substantially better than baseline, user-guided conversations (p < 0.001). An auxiliary analysis on 1,509 conversations from a general US population panel validated that these results generalize beyond wearable device users. We used SymptomAI diagnoses as labels for all 13,917 participants to analyze over 500,000 days of wearable metrics across nearly 400 unique conditions. We identified strong associations between acute infections and physiological shifts (e.g., OR > 7 for influenza). While limited by self-reported ground truth, these results demonstrate the benefits of a dedicated and complete symptom interview compared to a user-guided symptom discussion, which is the default of most consumer LLMs.