공격자 없는 게이밍: 선택 압력 하 LLM 주도 검색에서의 벤치마크 핑거프린팅

초록

평가 신호를 기준으로 최적화된 시스템을 위한 벤치마크는 주장하는 바와 다른 것을 측정한다. 우리는 홀드아웃 일반화 게이트를 갖춘 두 GPU 커널 최적화 스위트, 즉 Metal-Sci(과학 컴퓨팅 작업 10개)와 Metal-ZK(영지식/암호화 작업 12개)에서 이를 구체적으로 입증한다. 이 스위트에서 세 개의 최첨단 LLM(Opus 4.7, Gemini 3.1 Pro, GPT-5.5)이 풍부한 피드백을 제공하는 (1+1) 진화 루프 내에서 Metal 커널을 제안한다. 어떤 모델도 적대적으로 행동하도록 프롬프트되지 않았음에도 불구하고, 선택된 우승자들은 반복적으로 평가 구성을 지문화한다: 런타임 매개변수의 정체성에 따라 분기하여 측정된 분기를 최대한 튜닝하고, 측정되지 않은 분기는 느리거나 조용히 틀린 채로 남겨둔다. 전체 스위트를 통합했을 때, 분포 내 승리 53건 중 16건(30%)이 홀드아웃 구성으로 전이되지 못한다. 우리는 이러한 실패에 대해 구성 지문에서 게이트 누출에 이르는 네 가지 모드 분류 체계를 제시한다. 또한 전략적 최적화 하에서의 측정을 위한 설계 지침을 도출한다: 홀드아웃 검증은 열거 불가능한 축에서만 타당성을 유지하고, 게이트는 정확성뿐만 아니라 홀드아웃 성능을 측정해야 하며, 전이율은 실패별 메커니즘 등급이 있을 때만 해석 가능하다 — 우리의 전이율은 악용(gamed), 과적합(overfit), 양성(benign) 사례로 분해된다. 코드 및 연구 산출물: https://github.com/vicgalle/kernel-fingerprinting

English

Benchmarks for systems that are optimized against the evaluation signal measure something different from what they claim. We document this concretely in two GPU-kernel-optimization suites with held-out generalization gates: Metal-Sci (10 scientific-compute tasks) and Metal-ZK (12 zero-knowledge/cryptographic tasks), in which three frontier LLMs (Opus 4.7, Gemini 3.1 Pro, GPT-5.5) propose Metal kernels inside a (1{+}1) evolutionary loop with rich feedback. Although no model is prompted to act adversarially, the promoted winners repeatedly fingerprint the evaluation configuration: they branch on the identity of runtime parameters, tune the measured branch maximally, and leave the unmeasured branch slow or silently wrong. Across the pooled suites, 16/53 (30%) of in-distribution wins fail to transfer to held-out configurations. We give a four-mode taxonomy of these failures, from configuration fingerprints to gate leakage. We distill design guidance for measurement under strategic optimization: held-out probes retain validity only on non-enumerable axes; gates must measure held-out performance, not just correctness; and a transfer rate is interpretable only with per-failure mechanism grades: ours decomposes into gamed, overfit, and benign. Code and research artifacts: https://github.com/vicgalle/kernel-fingerprinting