SymptomAI: Auf dem Weg zu einem konversationellen KI-Agenten für die alltägliche Symptombewertung
SymptomAI: Towards a Conversational AI Agent for Everyday Symptom Assessment
May 5, 2026
Autoren: Joseph Breda, Fadi Yousif, Beszel Hawkins, Marinela Cotoi, Miao Liu, Ray Luo, Po-Hsuan Cameron Chen, Mike Schaekermann, Samuel Schmidgall, Xin Liu, Girish Narayanswamy, Samuel Solomon, Maxwell A. Xu, Xiaoran Fan, Longfei Shangguan, Anran Wang, Bhavna Daryani, Buddy Herkenham, Cara Tan, Mark Malhotra, Shwetak Patel, John B. Hernandez, Quang Duong, Yun Liu, Zach Wasson, Dimitrios Antos, Bob Lou, Matthew Thompson, Jonathan Richina, Anupam Pathak, Nichole Young-Lin, Jake Sunshine, Daniel McDuff
cs.AI
Zusammenfassung
Sprachmodelle zeichnen sich durch hervorragende Leistungen bei diagnostischen Bewertungen in kuratierten medizinischen Fallstudien und Vignetten aus und schneiden dabei mindestens ebenso gut ab wie klinische Fachkräfte. Allerdings konzentrieren sich bestehende Studien auf komplexe Szenarien mit umfangreichem Kontext, was es schwierig macht, Rückschlüsse darauf zu ziehen, wie diese Systeme bei der Meldung von Symptomen durch Patienten im Alltag abschneiden. Wir setzten SymptomAI, eine Reihe konversationeller KI-Agenten für die End-to-End-Patientenbefragung und Differentialdiagnose (DDx), über die Fitbit-App in einer Studie ein, in der die Teilnehmer (N=13.917) randomisiert wurden, um mit fünf KI-Agenten zu interagieren. Dieser Korpus erfasst eine Vielzahl von Kommunikationsweisen und eine realistische Verteilung von Krankheiten in einer realen Population. Eine Teilgruppe von 1.228 Teilnehmern meldete eine von einer Ärztin oder einem Arzt gestellte Diagnose, und 517 davon wurden in über 250 Stunden Annotation von einem Gremium aus Klinikerinnen und Klinikern weiter bewertet. Die DDx von SymptomAI waren in einem verblindeten randomisierten Vergleich signifikant genauer (OR = 2,47, p < 0,001) als die von unabhängigen Klinikerinnen und Klinikern, denen derselbe Dialog vorgelegt wurde. Darüber hinaus schneiden agentenbasierte Strategien, die ein gezieltes Symptominterview durchführen, um zusätzliche Symptominformationen zu erfragen, bevor eine Diagnose gestellt wird, deutlich besser ab als benutzergeführte Basisgespräche (p < 0,001). Eine Zusatzanalyse von 1.509 Gesprächen aus einer repräsentativen Stichprobe der US-Bevölkerung bestätigte, dass diese Ergebnisse über Nutzer von Wearable-Geräten hinaus verallgemeinerbar sind. Wir nutzten die SymptomAI-Diagnosen als Labels für alle 13.917 Teilnehmer, um über 500.000 Tage Wearable-Metriken über fast 400 einzigartige Erkrankungen hinweg zu analysieren. Wir identifizierten starke Assoziationen zwischen akuten Infektionen und physiologischen Veränderungen (z. B. OR > 7 für Influenza). Obwohl durch selbstberichtete Ground-Truth-Daten limitiert, demonstrieren diese Ergebnisse die Vorteile eines gezielten und vollständigen Symptominterviews im Vergleich zu einer benutzergeführten Symptomdiskussion, welche die Standardvorgehensweise der meisten consumer LLMs darstellt.
English
Language models excel at diagnostic assessments on currated medical case-studies and vignettes, performing on par with, or better than, clinical professionals. However, existing studies focus on complex scenarios with rich context making it difficult to draw conclusions about how these systems perform for patients reporting symptoms in everyday life. We deployed SymptomAI, a set of conversational AI agents for end-to-end patient interviewing and differential diagnosis (DDx), via the Fitbit app in a study that randomized participants (N=13,917) to interact with five AI agents. This corpus captures diverse communication and a realistic distribution of illnesses from a real world population. A subset of 1,228 participants reported a clinician-provided diagnosis, and 517 of these were further evaluated by a panel of clinicians during over 250 hours of annotation. SymptomAI DDx were significantly more accurate (OR = 2.47, p < 0.001) than those from independent clinicians given the same dialogue in a blinded randomized comparison. Moreover, agentic strategies which conduct a dedicated symptom interview that elicit additional symptom information before providing a diagnosis, perform substantially better than baseline, user-guided conversations (p < 0.001). An auxiliary analysis on 1,509 conversations from a general US population panel validated that these results generalize beyond wearable device users. We used SymptomAI diagnoses as labels for all 13,917 participants to analyze over 500,000 days of wearable metrics across nearly 400 unique conditions. We identified strong associations between acute infections and physiological shifts (e.g., OR > 7 for influenza). While limited by self-reported ground truth, these results demonstrate the benefits of a dedicated and complete symptom interview compared to a user-guided symptom discussion, which is the default of most consumer LLMs.