Конференции по компьютерным наукам должны требовать неопровержимых экспериментальных результатов

Аннотация

В данной дискуссионной статье утверждается, что конференции по компьютерным наукам должны требовать защищенных от несанкционированного изменения и обеспечивающих неотказуемость доказательств экспериментальных результатов. Мы определяем лежащую в основе проблему как неотказуемость эксперимента: соответствующий требованиям протокол должен связывать числа в статье с фактически выполненными вычислениями таким образом, чтобы автор не мог впоследствии их изменить или отвергнуть. Текущая система основана на самостоятельно заполняемых контрольных списках, дополнительном обмене кодом и ведении журналов под контролем автора. Ни один из этих механизмов не отвечает на вопрос, который не может проверить рецензент: породил ли код, описанный в статье, числа, представленные в статье? Мы формально определяем задачу, формулируем свойства безопасности, которым должен удовлетворять любой соответствующий требованиям протокол, и описываем модель угроз, включающую атаки, которые современные подходы не предотвращают. Чтобы показать, что задача решаема, мы создали K-Veritas — эталонную реализацию на Go, которая формирует подписанные отчеты без доступа к обучающим данным. K-Veritas является тестовой платформой, а не готовым решением. Мы призываем конференции и сообщество рассматривать неотказуемость как обязательное требование и участвовать в создании открытого независимого стандарта для нее.

English

This position paper argues that computer science conferences should require tamper-evident, nonrepudiable attestations of experimental results. We name the underlying problem experiment nonrepudiation: a compliant protocol must bind the numbers in a paper to an actual executed computation in a way the author cannot later alter or deny. The current system relies on self-reported checklists, optional code sharing, and author-controlled logging. None of these mechanisms answer the question a reviewer cannot check: did the code the paper describes produce the numbers the paper reports? We define the problem formally, state the security properties any compliant protocol must satisfy, and describe a threat model that includes attacks current approaches do not prevent. To show that the problem is solvable, we built K-Veritas, a reference implementation in Go that produces signed reports without accessing training data. K-Veritas is a testbed, not a finished answer. We call on conferences and the community to treat nonrepudiation as a first-class requirement and to help build an open, independent standard for it.