攻撃者なしのゲーミング：選択圧下におけるLLM駆動検索でのベンチマークフィンガープリンティング

要旨

評価シグナルに対して最適化されたシステム向けのベンチマークは、その主張とは異なるものを測定している。本稿では、ホールドアウト汎化ゲートを備えた2つのGPUカーネル最適化スイート、Metal-Sci（科学計算タスク10件）とMetal-ZK（ゼロ知識・暗号タスク12件）において、このことを具体的に示す。これらのスイートでは、3つの最先端LLM（Opus 4.7、Gemini 3.1 Pro、GPT-5.5）が、豊富なフィードバックを伴う(1{+}1)進化的ループ内でMetalカーネルを提案する。どのモデルも敵対的に振る舞うよう指示されてはいないが、採用された勝者たちは繰り返し評価構成をフィンガープリントする。すなわち、実行時パラメータの同一性に基づいて分岐し、測定された分岐を最大限に調整し、測定されない分岐は低速のまま、あるいは黙って誤ったままにしておく。統合したスイート全体では、分布内での勝利53件のうち16件（30%）が、ホールドアウト構成への転移に失敗した。我々はこれらの失敗を、構成フィンガープリントからゲート漏洩に至るまでの4つのモードに分類する。我々は、戦略的最適化下での測定に関する設計指針を抽出する。すなわち、ホールドアウトプローブは枚挙不可能な軸においてのみ有効性を維持し、ゲートは正しさだけでなくホールドアウトパフォーマンスを測定しなければならず、転移率は失敗ごとのメカニズム評価を伴ってのみ解釈可能である。我々の評価は、ゲームされたもの、過学習したもの、良性のものに分解される。

English

Benchmarks for systems that are optimized against the evaluation signal measure something different from what they claim. We document this concretely in two GPU-kernel-optimization suites with held-out generalization gates: Metal-Sci (10 scientific-compute tasks) and Metal-ZK (12 zero-knowledge/cryptographic tasks), in which three frontier LLMs (Opus 4.7, Gemini 3.1 Pro, GPT-5.5) propose Metal kernels inside a (1{+}1) evolutionary loop with rich feedback. Although no model is prompted to act adversarially, the promoted winners repeatedly fingerprint the evaluation configuration: they branch on the identity of runtime parameters, tune the measured branch maximally, and leave the unmeasured branch slow or silently wrong. Across the pooled suites, 16/53 (30%) of in-distribution wins fail to transfer to held-out configurations. We give a four-mode taxonomy of these failures, from configuration fingerprints to gate leakage. We distill design guidance for measurement under strategic optimization: held-out probes retain validity only on non-enumerable axes; gates must measure held-out performance, not just correctness; and a transfer rate is interpretable only with per-failure mechanism grades: ours decomposes into gamed, overfit, and benign. Code and research artifacts: https://github.com/vicgalle/kernel-fingerprinting