SymptomAI : Vers un agent conversationnel d'IA pour l'évaluation quotidienne des symptômes

SymptomAI: Towards a Conversational AI Agent for Everyday Symptom Assessment

May 5, 2026

Auteurs: Joseph Breda, Fadi Yousif, Beszel Hawkins, Marinela Cotoi, Miao Liu, Ray Luo, Po-Hsuan Cameron Chen, Mike Schaekermann, Samuel Schmidgall, Xin Liu, Girish Narayanswamy, Samuel Solomon, Maxwell A. Xu, Xiaoran Fan, Longfei Shangguan, Anran Wang, Bhavna Daryani, Buddy Herkenham, Cara Tan, Mark Malhotra, Shwetak Patel, John B. Hernandez, Quang Duong, Yun Liu, Zach Wasson, Dimitrios Antos, Bob Lou, Matthew Thompson, Jonathan Richina, Anupam Pathak, Nichole Young-Lin, Jake Sunshine, Daniel McDuff

cs.AI

Résumé

Les modèles de langage excellent dans les évaluations diagnostiques sur des études de cas médicaux et des vignettes sélectionnées, obtenant des performances équivalentes ou supérieures à celles des professionnels de santé. Cependant, les études existantes se concentrent sur des scénarios complexes avec un contexte riche, ce qui rend difficile de tirer des conclusions sur la performance de ces systèmes pour les patients décrivant des symptômes dans la vie quotidienne. Nous avons déployé SymptomAI, un ensemble d'agents conversationnels d'IA pour l'entretien patient de bout en bout et le diagnostic différentiel (DDx), via l'application Fitbit dans une étude randomisant des participants (N=13 917) pour interagir avec cinq agents d'IA. Ce corpus capture une communication diverse et une distribution réaliste des pathologies dans une population réelle. Un sous-ensemble de 1 228 participants a rapporté un diagnostic fourni par un clinicien, et 517 d'entre eux ont été évalués plus avant par un panel de cliniciens lors de plus de 250 heures d'annotation. Les DDx de SymptomAI étaient significativement plus précis (RC = 2,47, p < 0,001) que ceux de cliniciens indépendants confrontés aux mêmes dialogues dans une comparaison randomisée en aveugle. De plus, les stratégies agentives menant un entretien dédié sur les symptômes, qui recueille des informations symptomatiques supplémentaires avant d'établir un diagnostic, performent substantiellement mieux que les conversations de référence guidées par l'utilisateur (p < 0,001). Une analyse auxiliaire sur 1 509 conversations provenant d'un panel représentatif de la population générale américaine a validé que ces résultats se généralisent au-delà des utilisateurs de wearables. Nous avons utilisé les diagnostics de SymptomAI comme étiquettes pour les 13 917 participants afin d'analyser plus de 500 000 jours de métriques issues de wearables couvrant près de 400 conditions uniques. Nous avons identifié des associations fortes entre les infections aiguës et les modifications physiologiques (par exemple, RC > 7 pour la grippe). Bien que limités par une vérité terrain auto-déclarée, ces résultats démontrent les bénéfices d'un entretien symptomatique dédié et complet par rapport à une discussion sur les symptômes guidée par l'utilisateur, qui est le mode par défaut de la plupart des LLM grand public.

English

Language models excel at diagnostic assessments on currated medical case-studies and vignettes, performing on par with, or better than, clinical professionals. However, existing studies focus on complex scenarios with rich context making it difficult to draw conclusions about how these systems perform for patients reporting symptoms in everyday life. We deployed SymptomAI, a set of conversational AI agents for end-to-end patient interviewing and differential diagnosis (DDx), via the Fitbit app in a study that randomized participants (N=13,917) to interact with five AI agents. This corpus captures diverse communication and a realistic distribution of illnesses from a real world population. A subset of 1,228 participants reported a clinician-provided diagnosis, and 517 of these were further evaluated by a panel of clinicians during over 250 hours of annotation. SymptomAI DDx were significantly more accurate (OR = 2.47, p < 0.001) than those from independent clinicians given the same dialogue in a blinded randomized comparison. Moreover, agentic strategies which conduct a dedicated symptom interview that elicit additional symptom information before providing a diagnosis, perform substantially better than baseline, user-guided conversations (p < 0.001). An auxiliary analysis on 1,509 conversations from a general US population panel validated that these results generalize beyond wearable device users. We used SymptomAI diagnoses as labels for all 13,917 participants to analyze over 500,000 days of wearable metrics across nearly 400 unique conditions. We identified strong associations between acute infections and physiological shifts (e.g., OR > 7 for influenza). While limited by self-reported ground truth, these results demonstrate the benefits of a dedicated and complete symptom interview compared to a user-guided symptom discussion, which is the default of most consumer LLMs.