EpiQAL: Оценка больших языковых моделей в ответах на эпидемиологические вопросы для улучшения согласованности и логического вывода

EpiQAL: Benchmarking Large Language Models in Epidemiological Question Answering for Enhanced Alignment and Reasoning

January 6, 2026

Авторы: Mingyang Wei, Dehai Min, Zewen Liu, Yuzhang Xie, Guanchen Wu, Carl Yang, Max S. Y. Lau, Qi He, Lu Cheng, Wei Jin

cs.AI

Аннотация

Надежные эпидемиологические рассуждения требуют синтеза данных исследований для оценки бремени болезни, динамики передачи и эффектов вмешательств на популяционном уровне. Существующие эталоны для систем вопросов и ответов в медицине в основном делают акцент на клинических знаниях или рассуждениях на уровне пациента, однако лишь немногие систематически оценивают обоснованный доказательствами эпидемиологический вывод. Мы представляем EpiQAL — первый диагностический эталон для ответов на эпидемиологические вопросы по различным заболеваниям, состоящий из трех подмножеств, созданных на основе литературы с открытым доступом. Подмножества оценивают, соответственно, фактическое воспроизведение информации на основе текста, многошаговый вывод, связывающий доказательства из документов с эпидемиологическими принципами, и реконструкцию заключения при скрытом разделе «Обсуждение». Построение сочетает руководство таксономией, разработанной экспертами, верификацию с помощью нескольких моделей и контроль сложности на основе поиска. Эксперименты с десятью открытыми моделями показывают, что современные большие языковые модели демонстрируют ограниченную производительность в эпидемиологических рассуждениях, причем многошаговый вывод представляет наибольшую сложность. Ранжирование моделей меняется в зависимости от подмножества, и только масштаб не гарантирует успех. Chain-of-Thought prompting помогает в многошаговом выводе, но дает неоднозначные результаты в других случаях. EpiQAL предоставляет детализированные диагностические сигналы для обоснования доказательствами, логического вывода и реконструкции заключения.

English

Reliable epidemiological reasoning requires synthesizing study evidence to infer disease burden, transmission dynamics, and intervention effects at the population level. Existing medical question answering benchmarks primarily emphasize clinical knowledge or patient-level reasoning, yet few systematically evaluate evidence-grounded epidemiological inference. We present EpiQAL, the first diagnostic benchmark for epidemiological question answering across diverse diseases, comprising three subsets built from open-access literature. The subsets respectively evaluate text-grounded factual recall, multi-step inference linking document evidence with epidemiological principles, and conclusion reconstruction with the Discussion section withheld. Construction combines expert-designed taxonomy guidance, multi-model verification, and retrieval-based difficulty control. Experiments on ten open models reveal that current LLMs show limited performance on epidemiological reasoning, with multi-step inference posing the greatest challenge. Model rankings shift across subsets, and scale alone does not predict success. Chain-of-Thought prompting benefits multi-step inference but yields mixed results elsewhere. EpiQAL provides fine-grained diagnostic signals for evidence grounding, inferential reasoning, and conclusion reconstruction.