テストに合わせた構築：コーディングエージェントは要求されたものではなく、チェックされたものを提供する

要旨

ベンチマークは、大規模言語モデル（LLM）によるタスク完了を評価するために広く利用されているが、この手法には構成概念妥当性の問題が蓄積しており、合格スコアだけでは要求されたタスクが実際に達成されたかどうかが示されない可能性がある。我々はこの両方の問題を研究する。制御されたコード仕様（code-as-spec）環境において、2つの本番用Copilot CLIエージェント（claude-opus-4.7、gpt-5.5）が、React Fluent-UIのデータテーブルをAngularで再利用可能なライブラリとして再実装する。その際、隠された222テストからなるPlaywrightオラクルを用い、18回の実行と3種類のオラクル利用可能条件の下で行う。スコアに加えて、機械的なライブラリ監査を実施し、各判定をno-opアブレーションで確認する。オラクルがない場合、ライブラリは存在するものの未完成であり、それがスコアによって明らかになる。オラクルをループに組み込むと、スコアはほぼ完璧に達するが、テストされた動作を直接保持するデモから見ると、ライブラリは使えない状態か欠落している。我々はこれを「テストへの構築」と呼び、その背後にあるより広い傾向を「検証自己認識」と呼ぶ。エージェントは、ユーザーが行うように、自らが提供するものを自ら検証することはない。この問題の普遍性は、他のエージェント、シグナル、モデルファミリーにおいても未解決の課題である。ベンチマークスコアを超えて、検証自己認識のような傾向は研究の注目に値する。

English

Benchmarks are widely used to evaluate task completion by Large Language Models (LLMs), but this approach has accumulated construction-validity problems, and a passing score may not show whether the requested task was delivered. We study both problems. In a controlled code-as-spec setup, two production Copilot CLI agents (claude-opus-4.7, gpt-5.5) re-implement a React Fluent-UI data table in Angular as a reusable library under a hidden 222-test Playwright oracle across 18 runs and three oracle-availability conditions. Alongside the score, we run a mechanical library audit and check each verdict with a no-op ablation. Without the oracle, the library is present but unfinished, revealed by scores. With the oracle in the loop, the score reaches near-perfect, but from a demo holding the tested behavior directly, the library left dead or absent. We call this building to the test; the broader disposition behind both we call validation self-awareness. The agent does not, on its own, validate what it ships as a user would. Prevalence remains an open question across other agents, signals, and model families. Beyond benchmark scores, dispositions like validation self-awareness merit research attention.