SymptomAI: Op Weg naar een Conversatie-AI-Agent voor Dagelijkse Symptoombeoordeling
SymptomAI: Towards a Conversational AI Agent for Everyday Symptom Assessment
May 5, 2026
Auteurs: Joseph Breda, Fadi Yousif, Beszel Hawkins, Marinela Cotoi, Miao Liu, Ray Luo, Po-Hsuan Cameron Chen, Mike Schaekermann, Samuel Schmidgall, Xin Liu, Girish Narayanswamy, Samuel Solomon, Maxwell A. Xu, Xiaoran Fan, Longfei Shangguan, Anran Wang, Bhavna Daryani, Buddy Herkenham, Cara Tan, Mark Malhotra, Shwetak Patel, John B. Hernandez, Quang Duong, Yun Liu, Zach Wasson, Dimitrios Antos, Bob Lou, Matthew Thompson, Jonathan Richina, Anupam Pathak, Nichole Young-Lin, Jake Sunshine, Daniel McDuff
cs.AI
Samenvatting
Taalmodelen blinken uit in diagnostische beoordelingen van gecureerde medische casestudies en vignetten, waarbij ze even goed of beter presteren dan klinische professionals. Bestaande studies richten zich echter op complexe scenario's met rijke context, waardoor het moeilijk is conclusies te trekken over hoe deze systemen presteren voor patiënten die symptomen melden in het dagelijks leven. Wij hebben SymptomAI, een reeks conversationele AI-agenten voor end-to-end patiëntinterviewing en differentiële diagnose (DDx), via de Fitbit-app ingezet in een studie waarbij deelnemers (N=13.917) willekeurig werden toegewezen om met vijf AI-agenten te interacteren. Dit corpus legt diverse communicatie en een realistische verdeling van ziekten vast vanuit een populatie in de echte wereld. Een subset van 1.228 deelnemers meldde een door een clinicus gestelde diagnose, en 517 hiervan werden verder geëvalueerd door een panel van clinici tijdens meer dan 250 uur aan annotatiewerk. SymptomAI DDx waren significant nauwkeuriger (OR = 2,47, p < 0,001) dan die van onafhankelijke clinici bij dezelfde dialoog in een geblindeerde, gerandomiseerde vergelijking. Bovendien presteren agentstrategieën die een specifiek symptomeninterview afnemen om aanvullende symptoominformatie te verkrijgen voordat een diagnose wordt gesteld, aanzienlijk beter dan baseline, door de gebruiker geleide gesprekken (p < 0,001). Een aanvullende analyse van 1.509 gesprekken vanuit een panel van de algemene Amerikaanse populatie bevestigde dat deze resultaten generaliseerbaar zijn buiten gebruikers van wearables. Wij gebruikten SymptomAI-diagnoses als labels voor alle 13.917 deelnemers om meer dan 500.000 dagen aan wearable-metrics te analyseren across bijna 400 unieke aandoeningen. Wij identificeerden sterke associaties tussen acute infecties en fysiologische verschuivingen (bijv. OR > 7 voor influenza). Hoewel beperkt door zelfgerapporteerde grondwaarheid, tonen deze resultaten de voordelen aan van een specifiek en volledig symptomeninterview in vergelijking met een door de gebruiker geleide symptomenbespreking, wat de standaardinstelling is voor de meeste consumenten-LLM's.
English
Language models excel at diagnostic assessments on currated medical case-studies and vignettes, performing on par with, or better than, clinical professionals. However, existing studies focus on complex scenarios with rich context making it difficult to draw conclusions about how these systems perform for patients reporting symptoms in everyday life. We deployed SymptomAI, a set of conversational AI agents for end-to-end patient interviewing and differential diagnosis (DDx), via the Fitbit app in a study that randomized participants (N=13,917) to interact with five AI agents. This corpus captures diverse communication and a realistic distribution of illnesses from a real world population. A subset of 1,228 participants reported a clinician-provided diagnosis, and 517 of these were further evaluated by a panel of clinicians during over 250 hours of annotation. SymptomAI DDx were significantly more accurate (OR = 2.47, p < 0.001) than those from independent clinicians given the same dialogue in a blinded randomized comparison. Moreover, agentic strategies which conduct a dedicated symptom interview that elicit additional symptom information before providing a diagnosis, perform substantially better than baseline, user-guided conversations (p < 0.001). An auxiliary analysis on 1,509 conversations from a general US population panel validated that these results generalize beyond wearable device users. We used SymptomAI diagnoses as labels for all 13,917 participants to analyze over 500,000 days of wearable metrics across nearly 400 unique conditions. We identified strong associations between acute infections and physiological shifts (e.g., OR > 7 for influenza). While limited by self-reported ground truth, these results demonstrate the benefits of a dedicated and complete symptom interview compared to a user-guided symptom discussion, which is the default of most consumer LLMs.