Informaticaconferenties zouden onweerlegbare experimentele resultaten moeten vereisen.

Samenvatting

Dit standpuntdocument stelt dat conferenties op het gebied van computerwetenschappen manipulatiebestendige, niet-verloochenbare attestaties van experimentele resultaten moeten vereisen. We benoemen het onderliggende probleem als experimentniet-verloochenbaarheid: een overeenkomstig protocol moet de getallen in een artikel binden aan een daadwerkelijk uitgevoerde berekening op een manier die de auteur later niet kan wijzigen of ontkennen. Het huidige systeem vertrouwt op zelfgerapporteerde checklists, optioneel delen van code en door de auteur gecontroleerde logging. Geen van deze mechanismen beantwoordt de vraag die een reviewer niet kan controleren: heeft de code die in het artikel wordt beschreven, de getallen opgeleverd die het artikel rapporteert? We definiëren het probleem formeel, stellen de beveiligingseigenschappen vast waaraan elk overeenkomstig protocol moet voldoen en beschrijven een dreigingsmodel dat aanvallen omvat die huidige benaderingen niet voorkomen. Om aan te tonen dat het probleem oplosbaar is, hebben we K-Veritas gebouwd, een referentie-implementatie in Go die ondertekende rapporten produceert zonder toegang tot trainingsdata. K-Veritas is een testomgeving, geen definitief antwoord. We roepen conferenties en de gemeenschap op om niet-verloochenbaarheid te behandelen als een eersteklas vereiste en te helpen bij het bouwen van een open, onafhankelijke standaard hiervoor.

English

This position paper argues that computer science conferences should require tamper-evident, nonrepudiable attestations of experimental results. We name the underlying problem experiment nonrepudiation: a compliant protocol must bind the numbers in a paper to an actual executed computation in a way the author cannot later alter or deny. The current system relies on self-reported checklists, optional code sharing, and author-controlled logging. None of these mechanisms answer the question a reviewer cannot check: did the code the paper describes produce the numbers the paper reports? We define the problem formally, state the security properties any compliant protocol must satisfy, and describe a threat model that includes attacks current approaches do not prevent. To show that the problem is solvable, we built K-Veritas, a reference implementation in Go that produces signed reports without accessing training data. K-Veritas is a testbed, not a finished answer. We call on conferences and the community to treat nonrepudiation as a first-class requirement and to help build an open, independent standard for it.