Wie viel statische Struktur brauchen Code-Agenten? Eine Studie zur deterministischen Verankerung

Zusammenfassung

LLM-basierte Code-Agenten navigieren durch Repositories mittels Stichwortsuche, übersehen dabei jedoch die strukturellen Beziehungen – wie Aufrufgraphen, Vererbungshierarchien und Konfigurationsabhängigkeiten – die definieren, wie Software tatsächlich funktioniert. Dies macht die Navigation der Agenten stochastisch und über verschiedene Läufe hinweg schwer reproduzierbar. Wir untersuchen, ob leichte statische Analyse deterministische Anker für diese Agenten liefern kann: stabile strukturelle Fakten, die als Klartext-Kommentare eingefügt werden und die probabilistische Erkundung einschränken sowie die Navigation vorhersagbarer machen. Ausgehend von einer starken Baseline, Codex von OpenAI, injizieren wir systematisch strukturelle Annotationen unterschiedlicher Granularität und messen deren Auswirkungen auf Lokalisierung, Trajektorienverhalten und Lauf-zu-Lauf-Stabilität. Unsere Studie identifiziert den von uns sogenannten deterministischen Verankerungseffekt: Statische Struktur hilft weniger, indem sie Agenten „intelligenter“ macht, sondern vielmehr, indem sie ihre Navigation diszipliniert und reproduzierbar gestaltet. Drei Beobachtungen stützen diesen Befund: (1) Verankerung funktioniert: Leichte Aufruf-/Vererbungstopologie verbessert die Lokalisierung auf Funktionsebene (+2,2 pp Func@5) und verkürzt Trajektorien (-1,6 Interaktionsrunden); (2) Verankerung ist skalensensitiv: Die optimale Granularität und Direktionalität hängen von den Repository-Eigenschaften ab, wobei dichtere Semantiken abnehmende Grenzerträge zeigen und hub-lastige Projekte von ausschließlich inversen Verknüpfungen profitieren, die „wer-ruft-mich-auf“ aufdecken, ohne Vorwärtskanten; (3) Verankerung stabilisiert: Tags erhöhen die Nachverfolgungsrate von Links von 0,15–0,18 auf 0,21–0,24, halbieren grob die Lauf-zu-Lauf-Varianz und verbessern die Zuverlässigkeit einzelner Läufe (Pass@1 +3,4 pp) bei mittelgroßen Repositories, bei Kosten von etwa 10 % mehr Eingabe-Tokens. Diese Beobachtungen legen praktische Richtlinien nahe: Standardmäßig leichte Topologie bei mittleren Projekten, Ausdünnen von Vorwärtskanten bei großen Repositories und Reservieren dichter Tags für Fälle mit impliziten Abhängigkeiten.

English

LLM-based code agents navigate repositories through keyword search but miss the structural relationships, such as call graphs, inheritance hierarchies, and configuration dependencies, that define how software actually works. This makes agent navigation stochastic and difficult to reproduce across runs. We investigate whether lightweight static analysis can provide deterministic anchors for these agents: stable structural facts injected as plain-text comments that constrain probabilistic exploration and make navigation more predictable. Starting from a strong baseline, Codex from OpenAI, we systematically inject varying granularities of structural annotations and measure their effects on localization, trajectory behavior, and run-to-run stability. Our study identifies what we call the deterministic anchoring effect: static structure helps less by making agents "smarter" and more by making their navigation disciplined and reproducible. Three observations support this finding: (1) Anchoring works: lightweight call/inheritance topology improves function-level localization (+2.2pp Func@5) and shortens trajectories (-1.6 interaction rounds); (2) Anchoring is scale-sensitive: the optimal granularity and directionality depend on repository characteristics, where denser semantics show diminishing returns and hub-heavy projects benefit from inverse-only links that expose "who-calls-me" without forward edges; (3) Anchoring stabilizes: tags raise link-following rate from 0.15-0.18 to 0.21-0.24, roughly halve run-to-run variance, and improve single-run reliability (Pass@1 +3.4 pp) on medium-scale repositories, at the cost of roughly 10% more input tokens. These observations suggest practical guidelines: default to lightweight topology on medium projects, prune forward edges in large repositories, and reserve dense tags for implicit-dependency cases.