Los agentes de LLM pueden ver repositorios de código.

Resumen

Los agentes de codificación impulsados por modelos de lenguaje grandes han demostrado un sólido rendimiento en tareas de ingeniería de software. Sin embargo, la mayoría de los agentes consumen repositorios casi exclusivamente como texto, lo que difiere de cómo los desarrolladores humanos utilizan la estructura visual, como jerarquías de carpetas y relaciones de dependencia, para orientarse en grandes bases de código. Con los modelos de lenguaje grandes multimodales (MLLM), queda abierta la cuestión de si los agentes pueden beneficiarse efectivamente de las representaciones visuales de los repositorios. Este artículo presenta el primer estudio empírico sistemático sobre representaciones visuales de repositorios para agentes basados en LLM en la resolución de problemas a nivel de repositorio. Evaluamos cuatro modelos multimodales recientes. Nuestros resultados muestran que una configuración estrictamente solo-visión degrada la precisión y aumenta el costo de tokens, porque los agentes carecen de suficiente detalle simbólico y compensan con consultas visuales repetidas. En contraste, integrar gráficos visuales de la estructura del repositorio como una modalidad complementaria junto con interfaces de texto estándar ayuda a los agentes a comprender la estructura de manera más eficiente: el consumo de tokens de entrada se reduce hasta en un 26% mientras que la precisión en la resolución de problemas se mantiene o mejora. La visualización es más útil durante la localización de fallos y cuando el agente controla autónomamente la profundidad de exploración. Estos hallazgos apuntan a un diseño híbrido práctico de texto y visión para la próxima generación de agentes de codificación.

English

Coding agents powered by large language models have demonstrated strong performance on software engineering tasks. Yet most agents consume repositories almost entirely as text, which differs from how human developers use visual structure such as folder hierarchies and dependency relationships to orient themselves in large codebases. With multimodal large language models (MLLMs), it is an open question whether agents can effectively benefit from visual representations of repositories. This paper presents the first systematic empirical study of visual repository representations for LLM-based agents on repository-level issue resolution. We evaluate four recent multimodal models. Our results show that a strictly vision-only setup degrades accuracy and increases token cost, because agents lack sufficient symbolic detail and compensate with repeated visual queries. In contrast, integrating visual graphs of repository structure as a supplementary modality alongside standard text interfaces helps agents understand structure more efficiently: input token consumption decreases by up to 26% while issue-resolution accuracy is maintained or improved. Visualization is most useful during fault localization and when the agent autonomously controls exploration depth. These findings point to a practical hybrid text-and-vision design for next-generation coding agents.