Агенты LLM могут видеть репозитории кода

Аннотация

Агенты кодирования, работающие на основе больших языковых моделей, продемонстрировали высокую производительность при решении задач программной инженерии. Однако большинство таких агентов воспринимают репозитории практически полностью как текст, что отличается от того, как разработчики-люди используют визуальные структуры, такие как иерархии папок и зависимости, для ориентации в крупных базах кода. С появлением мультимодальных больших языковых моделей (MLLM) остается открытым вопрос о том, могут ли агенты эффективно использовать визуальные представления репозиториев. В данной статье представлено первое систематическое эмпирическое исследование визуальных представлений репозиториев для LLM-агентов, направленное на разрешение проблем на уровне репозитория. Мы оцениваем четыре современные мультимодальные модели. Наши результаты показывают, что строго визуальная настройка снижает точность и увеличивает затраты токенов, поскольку агентам не хватает достаточных символьных деталей, и они компенсируют это повторными визуальными запросами. Напротив, интеграция визуальных графов структуры репозитория в качестве дополнительной модальности наряду со стандартными текстовыми интерфейсами помогает агентам более эффективно понимать структуру: потребление входных токенов снижается до 26%, при этом точность разрешения проблем сохраняется или улучшается. Визуализация наиболее полезна на этапе локализации ошибок и когда агент автономно контролирует глубину исследования. Эти результаты указывают на практический гибридный текстово-визуальный дизайн для агентов кодирования следующего поколения.

English

Coding agents powered by large language models have demonstrated strong performance on software engineering tasks. Yet most agents consume repositories almost entirely as text, which differs from how human developers use visual structure such as folder hierarchies and dependency relationships to orient themselves in large codebases. With multimodal large language models (MLLMs), it is an open question whether agents can effectively benefit from visual representations of repositories. This paper presents the first systematic empirical study of visual repository representations for LLM-based agents on repository-level issue resolution. We evaluate four recent multimodal models. Our results show that a strictly vision-only setup degrades accuracy and increases token cost, because agents lack sufficient symbolic detail and compensate with repeated visual queries. In contrast, integrating visual graphs of repository structure as a supplementary modality alongside standard text interfaces helps agents understand structure more efficiently: input token consumption decreases by up to 26% while issue-resolution accuracy is maintained or improved. Visualization is most useful during fault localization and when the agent autonomously controls exploration depth. These findings point to a practical hybrid text-and-vision design for next-generation coding agents.