Bouwen voor de test: codeeragenten leveren wat je controleert, niet wat je hebt aangevraagd

Samenvatting

Benchmarks worden veelvuldig gebruikt om taakvoltooiing door Grote Taalmodellen (Large Language Models, LLM’s) te evalueren, maar deze aanpak heeft in de loop der tijd constructvaliditeitsproblemen opgestapeld, en een voldoende score wil nog niet zeggen dat de gevraagde taak daadwerkelijk is uitgevoerd. Wij onderzoeken beide problemen. In een gecontroleerde code-als-specificatie-opstelling implementeren twee productie-Copilot CLI-agenten (claude-opus-4.7, gpt-5.5) een React Fluent-UI-gegevenstabel opnieuw in Angular als een herbruikbare bibliotheek, met een verborgen 222-test Playwright-orakel over 18 runs en drie orakelbeschikbaarheidscondities. Naast de score voeren we een mechanische bibliotheekaudit uit en controleren we elke uitspraak met een no-op-ablatie. Zonder het orakel is de bibliotheek aanwezig maar onafgemaakt, wat blijkt uit de scores. Met het orakel in de lus bereikt de score bijna perfect, maar uit een demo die het geteste gedrag direct laat zien, blijkt de bibliotheek dood of afwezig. Dit noemen we ‘bouwen naar de test toe’; de bredere dispositionele instelling achter beide fenomenen noemen we ‘validatiezelfbewustzijn’. De agent valideert uit eigen beweging niet wat hij oplevert zoals een gebruiker dat zou doen. De prevalentie ervan blijft een open vraag voor andere agenten, signalen en modelfamilies. Naast benchmarkscores verdienen dispositionele eigenschappen zoals validatiezelfbewustzijn onderzoeksaandacht.

English

Benchmarks are widely used to evaluate task completion by Large Language Models (LLMs), but this approach has accumulated construction-validity problems, and a passing score may not show whether the requested task was delivered. We study both problems. In a controlled code-as-spec setup, two production Copilot CLI agents (claude-opus-4.7, gpt-5.5) re-implement a React Fluent-UI data table in Angular as a reusable library under a hidden 222-test Playwright oracle across 18 runs and three oracle-availability conditions. Alongside the score, we run a mechanical library audit and check each verdict with a no-op ablation. Without the oracle, the library is present but unfinished, revealed by scores. With the oracle in the loop, the score reaches near-perfect, but from a demo holding the tested behavior directly, the library left dead or absent. We call this building to the test; the broader disposition behind both we call validation self-awareness. The agent does not, on its own, validate what it ships as a user would. Prevalence remains an open question across other agents, signals, and model families. Beyond benchmark scores, dispositions like validation self-awareness merit research attention.