I modelli linguistici di grandi dimensioni generalisti superano gli strumenti clinici nei benchmark medici

Generalist Large Language Models Outperform Clinical Tools on Medical Benchmarks

December 1, 2025

Autori: Krithik Vishwanath, Mrigayu Ghosh, Anton Alyakin, Daniel Alexander Alber, Yindalon Aphinyanaphongs, Eric Karl Oermann

cs.AI

Abstract

Gli assistenti clinici specializzati in IA stanno rapidamente entrando nella pratica medica, spesso presentati come più sicuri o affidabili rispetto ai modelli linguistici di grandi dimensioni (LLM) a scopo generale. Tuttavia, a differenza dei modelli all'avanguardia, questi strumenti clinici sono raramente sottoposti a valutazioni quantitative indipendenti, creando un divario critico nelle evidenze nonostante la loro crescente influenza su diagnosi, triage e interpretazione delle linee guida. Abbiamo valutato due sistemi di IA clinica ampiamente utilizzati (OpenEvidence e UpToDate Expert AI) confrontandoli con tre LLM generalisti all'avanguardia (GPT-5, Gemini 3 Pro e Claude Sonnet 4.5) utilizzando un mini-benchmark di 1.000 elementi che combina i task di MedQA (conoscenza medica) e HealthBench (allineamento clinico). I modelli generalisti hanno costantemente superato gli strumenti clinici, con GPT-5 che ha ottenuto i punteggi più alti, mentre OpenEvidence e UpToDate hanno mostrato carenze in completezza, qualità della comunicazione, consapevolezza del contesto e ragionamento sulla sicurezza basato sui sistemi. Questi risultati rivelano che gli strumenti commercializzati per il supporto alle decisioni cliniche potrebbero spesso essere inferiori rispetto agli LLM all'avanguardia, sottolineando l'urgente necessità di una valutazione trasparente e indipendente prima del loro dispiegamento nei flussi di lavoro a contatto con i pazienti.

English

Specialized clinical AI assistants are rapidly entering medical practice, often framed as safer or more reliable than general-purpose large language models (LLMs). Yet, unlike frontier models, these clinical tools are rarely subjected to independent, quantitative evaluation, creating a critical evidence gap despite their growing influence on diagnosis, triage, and guideline interpretation. We assessed two widely deployed clinical AI systems (OpenEvidence and UpToDate Expert AI) against three state-of-the-art generalist LLMs (GPT-5, Gemini 3 Pro, and Claude Sonnet 4.5) using a 1,000-item mini-benchmark combining MedQA (medical knowledge) and HealthBench (clinician-alignment) tasks. Generalist models consistently outperformed clinical tools, with GPT-5 achieving the highest scores, while OpenEvidence and UpToDate demonstrated deficits in completeness, communication quality, context awareness, and systems-based safety reasoning. These findings reveal that tools marketed for clinical decision support may often lag behind frontier LLMs, underscoring the urgent need for transparent, independent evaluation before deployment in patient-facing workflows.