SciCoQA: Garantia de Qualidade para o Alinhamento Código-Artigo Científico
SciCoQA: Quality Assurance for Scientific Paper--Code Alignment
January 19, 2026
Autores: Tim Baumgärtner, Iryna Gurevych
cs.AI
Resumo
Apresentamos o SciCoQA, um conjunto de dados para detetar discrepâncias entre publicações científicas e os seus repositórios de código, com o objetivo de garantir implementações fiéis. Construímos o SciCoQA a partir de *issues* do GitHub e de artigos de reprodutibilidade e, para dimensionar o nosso conjunto de dados, propomos um método de geração de dados sintéticos para construir discrepâncias entre artigos e código. Analisamos detalhadamente as discrepâncias e propomos tipos e categorias para melhor compreender os desalinhamentos que ocorrem. No total, o nosso conjunto de dados é composto por 611 discrepâncias (81 reais, 530 sintéticas), abrangendo diversas disciplinas de ciência computacional, incluindo IA, Física, Biologia Quantitativa, entre outras. A nossa avaliação de 21 LLMs destaca a dificuldade do SciCoQA, particularmente para instâncias que envolvem detalhes omitidos no artigo, entradas de contexto longo e dados externos ao corpus de pré-treinamento dos modelos. O modelo com melhor desempenho na nossa avaliação, o GPT-5, consegue detetar apenas 45,7% das discrepâncias reais entre artigos e código.
English
We present SciCoQA, a dataset for detecting discrepancies between scientific publications and their codebases to ensure faithful implementations. We construct SciCoQA from GitHub issues and reproducibility papers, and to scale our dataset, we propose a synthetic data generation method for constructing paper-code discrepancies. We analyze the paper-code discrepancies in detail and propose discrepancy types and categories to better understand the occurring mismatches. In total, our dataset consists of 611 paper-code discrepancies (81 real, 530 synthetic), spanning diverse computational science disciplines, including AI, Physics, Quantitative Biology, and others. Our evaluation of 21 LLMs highlights the difficulty of SciCoQA, particularly for instances involving omitted paper details, long-context inputs, and data outside the models' pre-training corpus. The best performing model in our evaluation, GPT-5, can only detect 45.7\% of real-world paper-code discrepancies.