LLM-Agenten können Code-Repositories einsehen.

Zusammenfassung

Durch große Sprachmodelle angetriebene Codierungsagenten haben bei Softwareentwicklungsaufgaben eine hohe Leistungsfähigkeit gezeigt. Dennoch verarbeiten die meisten Agenten Repositorien nahezu vollständig als Text, was sich von der Arbeitsweise menschlicher Entwickler unterscheidet, die visuelle Strukturen wie Ordnerhierarchien und Abhängigkeitsbeziehungen nutzen, um sich in großen Codebasen zu orientieren. Mit multimodalen großen Sprachmodellen (MLLMs) ist noch ungeklärt, ob Agenten effektiv von visuellen Repräsentationen von Repositorien profitieren können. Diese Arbeit präsentiert die erste systematische empirische Studie zu visuellen Repräsentationsformen von Repositorien für LLM-basierte Agenten bei der Lösung von Problemen auf Repositoriumsebene. Wir evaluieren vier aktuelle multimodale Modelle. Unsere Ergebnisse zeigen, dass ein streng auf Bildverarbeitung beschränkter Ansatz die Genauigkeit verringert und die Tokenkosten erhöht, da den Agenten ausreichende symbolische Details fehlen und sie dies durch wiederholte visuelle Abfragen kompensieren. Im Gegensatz dazu hilft die Integration visueller Graphen der Repositoriumsstruktur als ergänzende Modalität neben standardmäßigen Textschnittstellen den Agenten, die Struktur effizienter zu verstehen: Der Eingabe-Tokenverbrauch sinkt um bis zu 26 %, während die Genauigkeit bei der Problemlösung erhalten bleibt oder sich verbessert. Die Visualisierung ist besonders während der Fehlerlokalisierung und dann nützlich, wenn der Agent die Erkundungstiefe autonom steuert. Diese Erkenntnisse weisen auf ein praktisches Hybriddesign aus Text und Bild für die nächste Generation von Codierungsagenten hin.

English

Coding agents powered by large language models have demonstrated strong performance on software engineering tasks. Yet most agents consume repositories almost entirely as text, which differs from how human developers use visual structure such as folder hierarchies and dependency relationships to orient themselves in large codebases. With multimodal large language models (MLLMs), it is an open question whether agents can effectively benefit from visual representations of repositories. This paper presents the first systematic empirical study of visual repository representations for LLM-based agents on repository-level issue resolution. We evaluate four recent multimodal models. Our results show that a strictly vision-only setup degrades accuracy and increases token cost, because agents lack sufficient symbolic detail and compensate with repeated visual queries. In contrast, integrating visual graphs of repository structure as a supplementary modality alongside standard text interfaces helps agents understand structure more efficiently: input token consumption decreases by up to 26% while issue-resolution accuracy is maintained or improved. Visualization is most useful during fault localization and when the agent autonomously controls exploration depth. These findings point to a practical hybrid text-and-vision design for next-generation coding agents.