スコアだけでは発見を証明しない：AI研究エージェントを監査するための発見認証プロトコル

要旨

AI研究エージェントは、事前知識、公開情報源、実験的フィードバックを組み合わせて有用な結果を生み出す。発見認証プロトコル（DCP）は、これらの結果に関する主張を、実行可能な回復テストおよびフィードバックテストへと変換する。ゲート1は、封印された評価における有用な改善を検証する。ゲート2は、マッチングされたエージェントに登録済みの開始情報と観測されたWebコンテンツを与える一方で、対象研究履歴を伏せる。数値目標に到達した各有効手法は回復証人を提供し、Coreの拒否権を発動する。DCP Coreは、適切な対照、観測された回復がゼロであること、および新たに登録された1つのエピソードにおける回復についての有限標本上界を要求する。任意選択のゲート3は、共有チェックポイントから、指定された中立方策を基準とした真実のフィードバックの平均効果を測定する。DCP Evidenceは、独立した帰無校正と登録済みの効果マージンの後に、この効果を加える。2件の対照付き監査が、異なるモデル下でのSQLite最適化と仮想触媒制御において完全なプロトコルを試す。それぞれが96エピソードで0件の回復を生じ、上界は0.0468であった。各ペア研究は30件の真実の回復と0件の中立回復をもたらし、合格した60ペアの帰無研究を伴った。追加の事例は、Core、回復済み、および監査不完全の判断を試す。決定論的でLLMを用いない検証器が、凍結された証拠から判断を再現する。DCPは、AI研究全体にわたる有用な成果、代替経路、およびフィードバック効果のための共通の証拠言語を提供する。

English

AI research agents combine prior knowledge, public sources, and experimental feedback to produce useful results. The Discovery Certification Protocol (DCP) turns claims about these results into executable recovery and feedback tests. Gate 1 validates useful improvement on sealed evaluation. Gate 2 gives matched agents the registered starting information and observed Web content while withholding the target research history. Every valid method reaching the numerical target supplies a recovery witness and triggers the Core veto. DCP Core requires adequate controls, zero observed recoveries, and a finite-sample bound on recovery in one fresh registered episode. Optional Gate 3 measures the average effect of truthful feedback relative to a specified neutral policy from a shared checkpoint. DCP Evidence adds this effect after independent null calibration and a registered effect margin. Two controlled audits exercise the complete protocol in SQLite optimization and virtual catalyst control under different models. Each produced zero recoveries in 96 episodes, with an upper bound of 0.0468. Each paired study yielded 30 truthful recoveries and zero neutral recoveries, with passing 60-pair null studies. Additional cases exercise Core, recovered, and audit-incomplete decisions. A deterministic, LLM-free verifier reproduces the decisions from frozen evidence. DCP provides a common evidence language for useful outcomes, alternative routes, and feedback effects across AI research.