Универсальные большие языковые модели превосходят специализированные клинические инструменты в медицинских тестах
Generalist Large Language Models Outperform Clinical Tools on Medical Benchmarks
December 1, 2025
Авторы: Krithik Vishwanath, Mrigayu Ghosh, Anton Alyakin, Daniel Alexander Alber, Yindalon Aphinyanaphongs, Eric Karl Oermann
cs.AI
Аннотация
Специализированные клинические ИИ-ассистенты активно внедряются в медицинскую практику, часто позиционируясь как более безопасные или надежные по сравнению с универсальными большими языковыми моделями (LLM). Однако, в отличие от передовых моделей, эти клинические инструменты редко проходят независимую количественную оценку, что создает критический пробел в доказательной базе, несмотря на их растущее влияние на диагностику, триаж и интерпретацию клинических рекомендаций. Мы провели сравнительную оценку двух широко используемых клинических ИИ-систем (OpenEvidence и UpToDate Expert AI) и трех современных универсальных LLM (GPT-5, Gemini 3 Pro и Claude Sonnet 4.5) с использованием мини-бенчмарка из 1000 заданий, объединяющего задачи MedQA (медицинские знания) и HealthBench (соответствие клинической логике). Универсальные модели consistently превзошли клинические инструменты, причем GPT-5 показал наивысшие результаты, тогда как OpenEvidence и UpToDate продемонстрировали недостатки в полноте, качестве коммуникации, контекстном восприятии и системном анализе безопасности. Полученные данные свидетельствуют, что инструменты, рекламируемые для поддержки клинических решений, могут уступать передовым LLM, что подчеркивает настоятельную необходимость прозрачной независимой оценки перед внедрением в рабочие процессы, связанные с пациентами.
English
Specialized clinical AI assistants are rapidly entering medical practice, often framed as safer or more reliable than general-purpose large language models (LLMs). Yet, unlike frontier models, these clinical tools are rarely subjected to independent, quantitative evaluation, creating a critical evidence gap despite their growing influence on diagnosis, triage, and guideline interpretation. We assessed two widely deployed clinical AI systems (OpenEvidence and UpToDate Expert AI) against three state-of-the-art generalist LLMs (GPT-5, Gemini 3 Pro, and Claude Sonnet 4.5) using a 1,000-item mini-benchmark combining MedQA (medical knowledge) and HealthBench (clinician-alignment) tasks. Generalist models consistently outperformed clinical tools, with GPT-5 achieving the highest scores, while OpenEvidence and UpToDate demonstrated deficits in completeness, communication quality, context awareness, and systems-based safety reasoning. These findings reveal that tools marketed for clinical decision support may often lag behind frontier LLMs, underscoring the urgent need for transparent, independent evaluation before deployment in patient-facing workflows.