EpiQAL: Valutazione dei Modelli Linguistici di Grandi Dimensioni nel Rispondere a Domande Epidemiologiche per un Miglior Allineamento e Ragionamento
EpiQAL: Benchmarking Large Language Models in Epidemiological Question Answering for Enhanced Alignment and Reasoning
January 6, 2026
Autori: Mingyang Wei, Dehai Min, Zewen Liu, Yuzhang Xie, Guanchen Wu, Carl Yang, Max S. Y. Lau, Qi He, Lu Cheng, Wei Jin
cs.AI
Abstract
Un ragionamento epidemiologico affidabile richiede la sintesi delle evidenze di studio per inferire il carico di malattia, la dinamica di trasmissione e gli effetti degli interventi a livello di popolazione. Gli attuali benchmark per la risposta a domande mediche enfatizzano principalmente la conoscenza clinica o il ragionamento a livello del paziente, mentre pochi valutano sistematicamente l'inferenza epidemiologica basata su prove. Presentiamo EpiQAL, il primo benchmark diagnostico per la risposta a domande epidemiologiche su diverse malattie, composto da tre sottoinsiemi costruiti a partire da letteratura ad accesso aperto. I sottoinsiemi valutano rispettivamente il richiamo fattuale ancorato al testo, l'inferenza a più passaggi che collega le evidenze documentali ai principi epidemiologici, e la ricostruzione della conclusione con la sezione Discussione omessa. La costruzione combina linee guida tassonomiche progettate da esperti, verifica multi-modello e controllo della difficoltà basato sul retrieval. Esperimenti su dieci modelli aperti rivelano che gli attuali LLM mostrano prestazioni limitate nel ragionamento epidemiologico, con l'inferenza a più passaggi che rappresenta la sfida maggiore. Le classifiche dei modelli variano tra i sottoinsiemi e la scala da sola non predice il successo. Il prompting a catena del pensiero (Chain-of-Thought) beneficia l'inferenza multi-step ma produce risultati contrastanti altrove. EpiQAL fornisce segnali diagnostici granulari per l'ancoraggio alle evidenze, il ragionamento inferenziale e la ricostruzione delle conclusioni.
English
Reliable epidemiological reasoning requires synthesizing study evidence to infer disease burden, transmission dynamics, and intervention effects at the population level. Existing medical question answering benchmarks primarily emphasize clinical knowledge or patient-level reasoning, yet few systematically evaluate evidence-grounded epidemiological inference. We present EpiQAL, the first diagnostic benchmark for epidemiological question answering across diverse diseases, comprising three subsets built from open-access literature. The subsets respectively evaluate text-grounded factual recall, multi-step inference linking document evidence with epidemiological principles, and conclusion reconstruction with the Discussion section withheld. Construction combines expert-designed taxonomy guidance, multi-model verification, and retrieval-based difficulty control. Experiments on ten open models reveal that current LLMs show limited performance on epidemiological reasoning, with multi-step inference posing the greatest challenge. Model rankings shift across subsets, and scale alone does not predict success. Chain-of-Thought prompting benefits multi-step inference but yields mixed results elsewhere. EpiQAL provides fine-grained diagnostic signals for evidence grounding, inferential reasoning, and conclusion reconstruction.