LLM-agenten kunnen coderepositories inzien

Samenvatting

Codeeragenten die worden aangedreven door grote taalmodellen hebben sterke prestaties laten zien op het gebied van software-engineeringtaken. Toch gebruiken de meeste agenten repositories bijna uitsluitend als tekst, wat verschilt van hoe menselijke ontwikkelaars visuele structuur, zoals maphiërarchieën en afhankelijkheidsrelaties, gebruiken om zich te oriënteren in grote codebases. Met multimodale grote taalmodellen (MLLMs) is het een open vraag of agenten effectief kunnen profiteren van visuele representaties van repositories. Dit artikel presenteert de eerste systematische empirische studie van visuele repository-representaties voor LLM-gebaseerde agenten bij issue-oplossing op repository-niveau. We evalueren vier recente multimodale modellen. Onze resultaten tonen aan dat een strikt visueel-only opzet de nauwkeurigheid vermindert en de tokencost verhoogt, omdat agenten onvoldoende symbolisch detail hebben en dit compenseren met herhaalde visuele queries. Daarentegen helpt het integreren van visuele grafen van de repositorystructuur als een aanvullende modaliteit naast standaard tekstinterfaces agenten om de structuur efficiënter te begrijpen: de invoer-tokenconsumptie daalt met tot 26%, terwijl de nauwkeurigheid van issue-oplossing behouden blijft of verbetert. Visualisatie is het meest nuttig tijdens foutlokalisatie en wanneer de agent autonoom de exploratiediepte controleert. Deze bevindingen wijzen op een praktisch hybride tekst-en-visie ontwerp voor de volgende generatie codeeragenten.

English

Coding agents powered by large language models have demonstrated strong performance on software engineering tasks. Yet most agents consume repositories almost entirely as text, which differs from how human developers use visual structure such as folder hierarchies and dependency relationships to orient themselves in large codebases. With multimodal large language models (MLLMs), it is an open question whether agents can effectively benefit from visual representations of repositories. This paper presents the first systematic empirical study of visual repository representations for LLM-based agents on repository-level issue resolution. We evaluate four recent multimodal models. Our results show that a strictly vision-only setup degrades accuracy and increases token cost, because agents lack sufficient symbolic detail and compensate with repeated visual queries. In contrast, integrating visual graphs of repository structure as a supplementary modality alongside standard text interfaces helps agents understand structure more efficiently: input token consumption decreases by up to 26% while issue-resolution accuracy is maintained or improved. Visualization is most useful during fault localization and when the agent autonomously controls exploration depth. These findings point to a practical hybrid text-and-vision design for next-generation coding agents.