컴퓨터 과학 학술대회는 부인할 수 없는 실험 결과를 요구해야 한다

초록

본 입장 논문은 컴퓨터 과학 학회에서 실험 결과에 대해 변조 감지 가능하고 부인 방지가 가능한 증명(attestation)을 요구해야 한다고 주장합니다. 우리는 근본적인 문제를 ‘실험 부인 방지(experiment nonrepudiation)’라고 명명합니다. 이는 규정을 준수하는 프로토콜이 논문에 제시된 숫자들을 실제 실행된 계산에 결부시켜, 저자가 이후에 이를 변경하거나 부인할 수 없도록 해야 함을 의미합니다. 현재 시스템은 자가 보고식 체크리스트, 선택적 코드 공유, 그리고 저자 통제하의 로깅에 의존하고 있습니다. 이러한 메커니즘 중 어느 것도 검토자가 확인할 수 없는 질문, 즉 논문이 기술한 코드가 논문이 보고한 숫자를 실제로 생성했는지 여부에 답하지 못합니다. 우리는 문제를 공식적으로 정의하고, 규정을 준수하는 모든 프로토콜이 충족해야 하는 보안 속성을 명시하며, 현재 접근 방식이 막지 못하는 공격을 포함한 위협 모델을 설명합니다. 문제가 해결 가능함을 보여주기 위해 우리는 K-Veritas를 구축했습니다. 이는 훈련 데이터에 접근하지 않고 서명된 보고서를 생성하는 Go 언어 기반의 참조 구현체입니다. K-Veritas는 완성된 답변이 아니라 테스트베드(testbed)입니다. 우리는 학회와 커뮤니티가 부인 방지를 최우선 요구사항으로 간주하고, 이를 위한 개방형 독립 표준을 구축하는 데 기여해 줄 것을 촉구합니다.

English

This position paper argues that computer science conferences should require tamper-evident, nonrepudiable attestations of experimental results. We name the underlying problem experiment nonrepudiation: a compliant protocol must bind the numbers in a paper to an actual executed computation in a way the author cannot later alter or deny. The current system relies on self-reported checklists, optional code sharing, and author-controlled logging. None of these mechanisms answer the question a reviewer cannot check: did the code the paper describes produce the numbers the paper reports? We define the problem formally, state the security properties any compliant protocol must satisfy, and describe a threat model that includes attacks current approaches do not prevent. To show that the problem is solvable, we built K-Veritas, a reference implementation in Go that produces signed reports without accessing training data. K-Veritas is a testbed, not a finished answer. We call on conferences and the community to treat nonrepudiation as a first-class requirement and to help build an open, independent standard for it.