SymptomAI: в сторону диалогового ИИ-агента для повседневной оценки симптомов
SymptomAI: Towards a Conversational AI Agent for Everyday Symptom Assessment
May 5, 2026
Авторы: Joseph Breda, Fadi Yousif, Beszel Hawkins, Marinela Cotoi, Miao Liu, Ray Luo, Po-Hsuan Cameron Chen, Mike Schaekermann, Samuel Schmidgall, Xin Liu, Girish Narayanswamy, Samuel Solomon, Maxwell A. Xu, Xiaoran Fan, Longfei Shangguan, Anran Wang, Bhavna Daryani, Buddy Herkenham, Cara Tan, Mark Malhotra, Shwetak Patel, John B. Hernandez, Quang Duong, Yun Liu, Zach Wasson, Dimitrios Antos, Bob Lou, Matthew Thompson, Jonathan Richina, Anupam Pathak, Nichole Young-Lin, Jake Sunshine, Daniel McDuff
cs.AI
Аннотация
Языковые модели демонстрируют превосходные результаты в диагностических оценках на основе структурированных медицинских историй болезни и клинических случаев, показывая результаты на уровне или превосходящие результаты специалистов-клиницистов. Однако существующие исследования сосредоточены на сложных сценариях с богатым контекстом, что затрудняет выводы о том, как эти системы работают с пациентами, сообщающими о симптомах в повседневной жизни. Мы развернули SymptomAI, набор диалоговых ИИ-агентов для сквозного опроса пациентов и проведения дифференциальной диагностики, через приложение Fitbit в исследовании, где участники (N=13 917) были рандомизированы для взаимодействия с пятью ИИ-агентами. Этот корпус данных охватывает разнообразные стили общения и реалистичное распределение заболеваний в реальной популяции. Подгруппа из 1228 участников сообщила о диагнозе, поставленном врачом, и 517 из этих случаев были дополнительно оценены группой клиницистов в ходе более 250 часов аннотирования. Дифференциальные диагнозы SymptomAI были статистически значимо точнее (ОШ = 2,47, p < 0,001), чем диагнозы независимых врачей, которым предоставлялись те же диалоги в слепом рандомизированном сравнении. Более того, агентные стратегии, которые проводят целенаправленное интервью по симптомам, выявляя дополнительную информацию до постановки диагноза, показали существенно лучшие результаты по сравнению с базовыми, управляемыми пользователем беседами (p < 0,001). Дополнительный анализ 1509 бесед из панели общей популяции США подтвердил, что эти результаты обобщаются за пределы пользователей носимых устройств. Мы использовали диагнозы SymptomAI в качестве меток для всех 13 917 участников, чтобы проанализировать более 500 000 дней данных с носимых устройств по почти 400 уникальным состояниям. Мы выявили сильные ассоциации между острыми инфекциями и физиологическими сдвигами (например, ОШ > 7 для гриппа). Хотя результаты ограничены достоверностью самоотчетов, они демонстрируют преимущества целенаправленного и полного интервью по симптомам по сравнению с управляемым пользователем обсуждением симптомов, которое является стандартом для большинства потребительских LLM.
English
Language models excel at diagnostic assessments on currated medical case-studies and vignettes, performing on par with, or better than, clinical professionals. However, existing studies focus on complex scenarios with rich context making it difficult to draw conclusions about how these systems perform for patients reporting symptoms in everyday life. We deployed SymptomAI, a set of conversational AI agents for end-to-end patient interviewing and differential diagnosis (DDx), via the Fitbit app in a study that randomized participants (N=13,917) to interact with five AI agents. This corpus captures diverse communication and a realistic distribution of illnesses from a real world population. A subset of 1,228 participants reported a clinician-provided diagnosis, and 517 of these were further evaluated by a panel of clinicians during over 250 hours of annotation. SymptomAI DDx were significantly more accurate (OR = 2.47, p < 0.001) than those from independent clinicians given the same dialogue in a blinded randomized comparison. Moreover, agentic strategies which conduct a dedicated symptom interview that elicit additional symptom information before providing a diagnosis, perform substantially better than baseline, user-guided conversations (p < 0.001). An auxiliary analysis on 1,509 conversations from a general US population panel validated that these results generalize beyond wearable device users. We used SymptomAI diagnoses as labels for all 13,917 participants to analyze over 500,000 days of wearable metrics across nearly 400 unique conditions. We identified strong associations between acute infections and physiological shifts (e.g., OR > 7 for influenza). While limited by self-reported ground truth, these results demonstrate the benefits of a dedicated and complete symptom interview compared to a user-guided symptom discussion, which is the default of most consumer LLMs.