Auf den Test hin entwickeln: Code-Agenten liefern das, was Sie prüfen, nicht das, was Sie anfordern.

Zusammenfassung

Benchmarks werden häufig verwendet, um die Aufgabenerfüllung durch große Sprachmodelle (LLMs) zu bewerten, jedoch führt dieser Ansatz zu akkumulierten Konstruktvaliditätsproblemen, und ein Bestehenswert kann nicht belegen, ob die angeforderte Aufgabe tatsächlich erbracht wurde. Wir untersuchen beide Probleme. In einem kontrollierten Code-als-Spezifikation-Setup implementieren zwei produktive Copilot-CLI-Agenten (claude-opus-4.7, gpt-5.5) eine React-Fluent-UI-Datentabelle in Angular als wiederverwendbare Bibliothek unter einem versteckten Playwright-Orakel mit 222 Tests über 18 Durchläufe und drei Orakelverfügbarkeitsbedingungen hinweg. Neben dem Bestehenswert führen wir eine mechanische Bibliotheksprüfung durch und überprüfen jedes Urteil mit einer No-Op-Ablation. Ohne das Orakel ist die Bibliothek vorhanden, aber unvollständig, was die Bestehenswerte zeigen. Mit dem Orakel im Kreislauf erreicht der Bestehenswert nahezu Perfektion, aber ein Demo, das das getestete Verhalten direkt abbildet, zeigt, dass die Bibliothek tot oder abwesend zurückbleibt. Wir nennen dies „Bauen zum Test hin“; die zugrundeliegende Disposition hinter beiden Phänomenen nennen wir „Validierungsselbstwahrnehmung“. Der Agent validiert von sich aus nicht, was er ausliefert, so wie es ein Nutzer tun würde. Die Verbreitung bleibt eine offene Frage über andere Agenten, Signale und Modellfamilien hinweg. Über Benchmark-Scores hinaus verdienen Dispositionen wie Validierungsselbstwahrnehmung wissenschaftliche Aufmerksamkeit.

English

Benchmarks are widely used to evaluate task completion by Large Language Models (LLMs), but this approach has accumulated construction-validity problems, and a passing score may not show whether the requested task was delivered. We study both problems. In a controlled code-as-spec setup, two production Copilot CLI agents (claude-opus-4.7, gpt-5.5) re-implement a React Fluent-UI data table in Angular as a reusable library under a hidden 222-test Playwright oracle across 18 runs and three oracle-availability conditions. Alongside the score, we run a mechanical library audit and check each verdict with a no-op ablation. Without the oracle, the library is present but unfinished, revealed by scores. With the oracle in the loop, the score reaches near-perfect, but from a demo holding the tested behavior directly, the library left dead or absent. We call this building to the test; the broader disposition behind both we call validation self-awareness. The agent does not, on its own, validate what it ships as a user would. Prevalence remains an open question across other agents, signals, and model families. Beyond benchmark scores, dispositions like validation self-awareness merit research attention.