Hoeveel statische structuur hebben code-agenten nodig? Een studie naar deterministische verankering

Samenvatting

Op LLM gebaseerde code-agenten navigeren door repositories via trefwoordzoekopdrachten, maar missen de structurele relaties, zoals call graphs, overervingshiërarchieën en configuratieafhankelijkheden, die bepalen hoe software daadwerkelijk werkt. Dit maakt agentnavigatie stochastisch en moeilijk te reproduceren over verschillende runs. We onderzoeken of lichtgewicht statische analyse deterministische ankers kan bieden voor deze agenten: stabiele structurele feiten die als platte-tekstopmerkingen worden geïnjecteerd, die probabilistische verkenning beperken en navigatie voorspelbaarder maken. Uitgaande van een sterke basislijn, Codex van OpenAI, injecteren we systematisch verschillende granulariteiten van structurele annotaties en meten we hun effecten op lokalisatie, trajectgedrag en run-to-run-stabiliteit. Onze studie identificeert wat we het deterministische verankeringseffect noemen: statische structuur helpt minder door agenten 'slimmer' te maken en meer door hun navigatie gedisciplineerd en reproduceerbaar te maken. Drie observaties ondersteunen deze bevinding: (1) Verankering werkt: lichtgewicht call/overervingstopologie verbetert functieniveau-lokalisatie (+2,2 procentpunt Func@5) en verkort trajecten (-1,6 interactierondes); (2) Verankering is schaalgevoelig: de optimale granulariteit en directionaliteit hangen af van repositorykenmerken, waarbij dichtere semantiek afnemende meeropbrengsten vertoont en hub-zware projecten profiteren van alleen inverse links die 'wie-roept-mij' blootleggen zonder forward edges; (3) Verankering stabiliseert: tags verhogen de linkvolgsnelheid van 0,15–0,18 naar 0,21–0,24, halveren ruwweg de run-to-run-variantie en verbeteren de betrouwbaarheid van enkele runs (Pass@1 +3,4 procentpunt) op middelgrote repositories, ten koste van ongeveer 10% meer invoertokens. Deze observaties suggereren praktische richtlijnen: standaard gebruik van lichtgewicht topologie op middelgrote projecten, forward edges weglaten in grote repositories, en dichte tags reserveren voor gevallen met impliciete afhankelijkheden.

English

LLM-based code agents navigate repositories through keyword search but miss the structural relationships, such as call graphs, inheritance hierarchies, and configuration dependencies, that define how software actually works. This makes agent navigation stochastic and difficult to reproduce across runs. We investigate whether lightweight static analysis can provide deterministic anchors for these agents: stable structural facts injected as plain-text comments that constrain probabilistic exploration and make navigation more predictable. Starting from a strong baseline, Codex from OpenAI, we systematically inject varying granularities of structural annotations and measure their effects on localization, trajectory behavior, and run-to-run stability. Our study identifies what we call the deterministic anchoring effect: static structure helps less by making agents "smarter" and more by making their navigation disciplined and reproducible. Three observations support this finding: (1) Anchoring works: lightweight call/inheritance topology improves function-level localization (+2.2pp Func@5) and shortens trajectories (-1.6 interaction rounds); (2) Anchoring is scale-sensitive: the optimal granularity and directionality depend on repository characteristics, where denser semantics show diminishing returns and hub-heavy projects benefit from inverse-only links that expose "who-calls-me" without forward edges; (3) Anchoring stabilizes: tags raise link-following rate from 0.15-0.18 to 0.21-0.24, roughly halve run-to-run variance, and improve single-run reliability (Pass@1 +3.4 pp) on medium-scale repositories, at the cost of roughly 10% more input tokens. These observations suggest practical guidelines: default to lightweight topology on medium projects, prune forward edges in large repositories, and reserve dense tags for implicit-dependency cases.