SciCoQA: Контроль качества соответствия кода научным статьям
SciCoQA: Quality Assurance for Scientific Paper--Code Alignment
January 19, 2026
Авторы: Tim Baumgärtner, Iryna Gurevych
cs.AI
Аннотация
Мы представляем SciCoQA — набор данных для выявления расхождений между научными публикациями и их кодобазами с целью обеспечения достоверности реализаций. Мы создали SciCoQA на основе вопросов (issues) из GitHub и статей о воспроизводимости результатов, а для масштабирования набора данных предложили метод синтетической генерации данных для создания расхождений между статьями и кодом. Мы детально анализируем эти расхождения, предлагая типы и категории несоответствий для лучшего понимания возникающих рассогласований. В общей сложности наш набор данных включает 611 случаев расхождений (81 реальный и 530 синтетических), охватывающих различные дисциплины вычислительной науки, включая ИИ, физику, количественную биологию и другие. Наша оценка 21 крупной языковой модели (LLM) демонстрирует сложность задач из SciCoQA, особенно для примеров, связанных с опущенными в статьях деталями, длинными контекстными входами и данными, отсутствующими в корпусе предварительного обучения моделей. Лучшая модель в нашем исследовании, GPT-5, способна обнаружить лишь 45,7% реальных расхождений между статьями и кодом.
English
We present SciCoQA, a dataset for detecting discrepancies between scientific publications and their codebases to ensure faithful implementations. We construct SciCoQA from GitHub issues and reproducibility papers, and to scale our dataset, we propose a synthetic data generation method for constructing paper-code discrepancies. We analyze the paper-code discrepancies in detail and propose discrepancy types and categories to better understand the occurring mismatches. In total, our dataset consists of 611 paper-code discrepancies (81 real, 530 synthetic), spanning diverse computational science disciplines, including AI, Physics, Quantitative Biology, and others. Our evaluation of 21 LLMs highlights the difficulty of SciCoQA, particularly for instances involving omitted paper details, long-context inputs, and data outside the models' pre-training corpus. The best performing model in our evaluation, GPT-5, can only detect 45.7\% of real-world paper-code discrepancies.