コンピュータサイエンスの会議は否認不能な実験結果を要求すべきである

要旨

本ポジションペーパーは、計算機科学の会議において、実験結果に対する改ざん防止かつ否認不可の証明を必須とするべきだと主張する。我々は根底にある問題を「実験の否認不可性」と名付ける。準拠プロトコルは、論文内の数値を、著者が後で改変したり否認したりできない形で、実際に実行された計算に結びつけるものでなければならない。現在のシステムは、自己申告チェックリスト、任意のコード共有、著者管理のログ記録に依存している。これらのメカニズムはいずれも、査読者が確認できない問い、すなわち「論文で記述されたコードが、論文で報告された数値を本当に生成したのか」に答えるものではない。我々はこの問題を形式的に定義し、あらゆる準拠プロトコルが満たすべきセキュリティ特性を述べ、現在の手法では防げない攻撃を含む脅威モデルを記述する。この問題が解決可能であることを示すため、我々は訓練データにアクセスせずに署名付きレポートを生成するリファレンス実装として、Go言語によるK-Veritasを構築した。K-Veritasはテストベッドであり、完成された解答ではない。我々は会議とコミュニティに対し、否認不可性を第一級の要件として扱い、そのためのオープンで独立した標準の構築に協力するよう呼びかける。

English

This position paper argues that computer science conferences should require tamper-evident, nonrepudiable attestations of experimental results. We name the underlying problem experiment nonrepudiation: a compliant protocol must bind the numbers in a paper to an actual executed computation in a way the author cannot later alter or deny. The current system relies on self-reported checklists, optional code sharing, and author-controlled logging. None of these mechanisms answer the question a reviewer cannot check: did the code the paper describes produce the numbers the paper reports? We define the problem formally, state the security properties any compliant protocol must satisfy, and describe a threat model that includes attacks current approaches do not prevent. To show that the problem is solvable, we built K-Veritas, a reference implementation in Go that produces signed reports without accessing training data. K-Veritas is a testbed, not a finished answer. We call on conferences and the community to treat nonrepudiation as a first-class requirement and to help build an open, independent standard for it.