EpiQAL: Benchmarking von großen Sprachmodellen in der epidemiologischen Fragebeantwortung zur Verbesserung von Ausrichtung und logischem Denken

EpiQAL: Benchmarking Large Language Models in Epidemiological Question Answering for Enhanced Alignment and Reasoning

January 6, 2026

papers.authors: Mingyang Wei, Dehai Min, Zewen Liu, Yuzhang Xie, Guanchen Wu, Carl Yang, Max S. Y. Lau, Qi He, Lu Cheng, Wei Jin

cs.AI

papers.abstract

Zuverlässiges epidemiologisches Denken erfordert die Synthese von Studienergebnissen, um Krankheitslast, Übertragungsdynamiken und Interventionseffekte auf Bevölkerungsebene abzuleiten. Bestehende Benchmarks für medizinische Frage-Antwort-Systeme betonen primär klinisches Wissen oder patientenbezogene Schlussfolgerungen, doch nur wenige evaluieren systematisch evidenzbasierte epidemiologische Inferenz. Wir stellen EpiQAL vor, den ersten diagnostischen Benchmark für epidemiologische Fragebeantwortung über verschiedene Krankheiten hinweg, bestehend aus drei Teilmengen, die auf frei zugänglicher Literatur basieren. Die Teilmengen evaluieren jeweils textgestütztes Faktenwissen, mehrstufige Inferenz zur Verknüpfung von Dokumentenbelegen mit epidemiologischen Prinzipien sowie Rekonstruktion von Schlussfolgerungen bei vorenthaltenem Diskussionsteil. Die Konstruktion kombiniert expertengestützte Taxonomieanleitung, multimodale Verifikation und retriebasierte Schwierigkeitskontrolle. Experimente mit zehn Open-Source-Modellen zeigen, dass aktuelle LLMs bei epidemiologischen Schlussfolgerungen begrenzte Leistung erbringen, wobei mehrstufige Inferenz die größte Herausforderung darstellt. Modellrankings variieren zwischen den Teilmengen, und Größe allein sagt keinen Erfolg voraus. Chain-of-Thought-Prompting verbessert mehrstufige Inferenz, zeigt aber elsewhere gemischte Ergebnisse. EpiQAL liefert feingranulare diagnostische Signale für Evidenzverankerung, schlussfolgerndes Denken und Konklusionsrekonstruktion.

English

Reliable epidemiological reasoning requires synthesizing study evidence to infer disease burden, transmission dynamics, and intervention effects at the population level. Existing medical question answering benchmarks primarily emphasize clinical knowledge or patient-level reasoning, yet few systematically evaluate evidence-grounded epidemiological inference. We present EpiQAL, the first diagnostic benchmark for epidemiological question answering across diverse diseases, comprising three subsets built from open-access literature. The subsets respectively evaluate text-grounded factual recall, multi-step inference linking document evidence with epidemiological principles, and conclusion reconstruction with the Discussion section withheld. Construction combines expert-designed taxonomy guidance, multi-model verification, and retrieval-based difficulty control. Experiments on ten open models reveal that current LLMs show limited performance on epidemiological reasoning, with multi-step inference posing the greatest challenge. Model rankings shift across subsets, and scale alone does not predict success. Chain-of-Thought prompting benefits multi-step inference but yields mixed results elsewhere. EpiQAL provides fine-grained diagnostic signals for evidence grounding, inferential reasoning, and conclusion reconstruction.