Les agents LLM peuvent voir les dépôts de code

Résumé

Les agents de codage alimentés par de grands modèles de langage ont démontré des performances solides dans les tâches de génie logiciel. Cependant, la plupart des agents consomment les dépôts presque exclusivement sous forme de texte, ce qui diffère de la manière dont les développeurs humains utilisent la structure visuelle, telle que les hiérarchies de dossiers et les relations de dépendance, pour s'orienter dans de grandes bases de code. Avec les grands modèles de langage multimodaux (MLLM), il reste une question ouverte de savoir si les agents peuvent bénéficier efficacement des représentations visuelles des dépôts. Cet article présente la première étude empirique systématique des représentations visuelles de dépôts pour les agents basés sur des LLM dans le cadre de la résolution de problèmes au niveau du dépôt. Nous évaluons quatre modèles multimodaux récents. Nos résultats montrent qu'une configuration strictement visuelle dégrade la précision et augmente le coût en tokens, car les agents manquent de détails symboliques suffisants et compensent par des requêtes visuelles répétées. En revanche, l'intégration de graphes visuels de la structure du dépôt en tant que modalité supplémentaire aux côtés des interfaces textuelles standard aide les agents à comprendre la structure plus efficacement : la consommation de tokens en entrée diminue jusqu'à 26 % tandis que la précision de résolution des problèmes est maintenue ou améliorée. La visualisation est la plus utile lors de la localisation des défauts et lorsque l'agent contrôle de manière autonome la profondeur d'exploration. Ces résultats indiquent une conception hybride texte-et-vision pratique pour les agents de codage de nouvelle génération.

English

Coding agents powered by large language models have demonstrated strong performance on software engineering tasks. Yet most agents consume repositories almost entirely as text, which differs from how human developers use visual structure such as folder hierarchies and dependency relationships to orient themselves in large codebases. With multimodal large language models (MLLMs), it is an open question whether agents can effectively benefit from visual representations of repositories. This paper presents the first systematic empirical study of visual repository representations for LLM-based agents on repository-level issue resolution. We evaluate four recent multimodal models. Our results show that a strictly vision-only setup degrades accuracy and increases token cost, because agents lack sufficient symbolic detail and compensate with repeated visual queries. In contrast, integrating visual graphs of repository structure as a supplementary modality alongside standard text interfaces helps agents understand structure more efficiently: input token consumption decreases by up to 26% while issue-resolution accuracy is maintained or improved. Visualization is most useful during fault localization and when the agent autonomously controls exploration depth. These findings point to a practical hybrid text-and-vision design for next-generation coding agents.