Conferências de Ciência da Computação Deveriam Exigir Resultados Experimentais Não Repudiáveis

Resumo

Este artigo de posicionamento argumenta que conferências de ciência da computação devem exigir atestados de resultados experimentais que sejam à prova de violação e irrefutáveis. Denominamos o problema subjacente de não repúdio de experimentos: um protocolo em conformidade deve vincular os números presentes em um artigo a uma computação efetivamente executada, de modo que o autor não possa posteriormente alterá-los ou negá-los. O sistema atual depende de listas de verificação auto reportadas, compartilhamento opcional de código e registro de logs controlado pelo autor. Nenhum desses mecanismos responde à pergunta que um revisor não pode verificar: o código descrito no artigo produziu os números relatados no artigo? Definimos o problema formalmente, enunciamos as propriedades de segurança que qualquer protocolo em conformidade deve satisfazer e descrevemos um modelo de ameaça que inclui ataques que as abordagens atuais não previnem. Para demonstrar que o problema é solucionável, construímos o K-Veritas, uma implementação de referência em Go que gera relatórios assinados sem acessar dados de treinamento. O K-Veritas é uma bancada de testes, não uma resposta definitiva. Conclamamos as conferências e a comunidade a tratar o não repúdio como um requisito de primeira classe e a ajudar na construção de um padrão aberto e independente para tal.

English

This position paper argues that computer science conferences should require tamper-evident, nonrepudiable attestations of experimental results. We name the underlying problem experiment nonrepudiation: a compliant protocol must bind the numbers in a paper to an actual executed computation in a way the author cannot later alter or deny. The current system relies on self-reported checklists, optional code sharing, and author-controlled logging. None of these mechanisms answer the question a reviewer cannot check: did the code the paper describes produce the numbers the paper reports? We define the problem formally, state the security properties any compliant protocol must satisfy, and describe a threat model that includes attacks current approaches do not prevent. To show that the problem is solvable, we built K-Veritas, a reference implementation in Go that produces signed reports without accessing training data. K-Veritas is a testbed, not a finished answer. We call on conferences and the community to treat nonrepudiation as a first-class requirement and to help build an open, independent standard for it.