Au-delà de NL2Code : Une revue structurée de l'intelligence multimodale du code

Résumé

Alors que les grands modèles de langage (LLM) ont considérablement fait progresser la synthèse texte-vers-code, de nombreuses tâches de programmation réelles spécifient l'intention par le biais d'artefacts visuels tels que des captures d'écran, des diagrammes, des dessins vectoriels, des vidéos et des états interactifs. Ces tâches exigent des modèles qu'ils relient la perception visuelle à des programmes exécutables, car la justesse ne dépend pas uniquement de la syntaxe, mais aussi de la mise en page, de la sémantique des données, du comportement interactif et des contraintes spécifiques au domaine qui s'appliquent après l'exécution. Cette étude examine l'intelligence de code multimodale, couvrant les systèmes qui génèrent, modifient, affinent ou raisonnent avec du code sous des entrées et sorties ancrées visuellement. Nous formulons d'abord le domaine par le rôle que le code joue dans chaque tâche, distinguant le code comme artefact rendu, structure symbolique éditable, représentation scientifique, trace de raisonnement intermédiaire, ou politique exécutable ou interface d'outil. Nous organisons ensuite les références et méthodes en quatre domaines : Interface Graphique Utilisateur, Visualisation Scientifique, Graphiques Structurés, et Tâches et Cadres Frontières. Cette taxonomie relie les problèmes matures de génération d'artefacts aux contextes émergents d'agents et unifiés, et nous permet de comparer comment différentes tâches traitent la preuve de justesse. En perspective, nous soutenons que la recherche future pourrait bénéficier de quatre directions centrées sur la vérification. La validation multi-signaux peut combiner des preuves complémentaires de justesse, la vérification multi-états peut tester le comportement à travers les trajectoires d'exécution, les tests de transfert entre tâches peuvent sonder des compétences de code visuel réutilisables, et les traces d'agents vérifiables peuvent révéler si les actions des agents sont ancrées dans des preuves visuelles. Ensemble, ces directions peuvent faire évoluer ce domaine de l'imitation à sortie unique vers des systèmes exécutables ancrés dans des preuves. Un projet en cours et des ressources sont disponibles sur https://github.com/xjywhu/Awesome-Multimodal-LLM-for-Code{GitHub}.

English

While Large Language Models (LLMs) have substantially advanced text-to-code synthesis, many real programming tasks specify intent through visual artifacts such as screenshots, charts, vector drawings, videos, and interactive states. These tasks require models to connect visual perception to executable programs, because correctness depends not only on syntax but also on layout, data semantics, interaction behavior, and domain-specific constraints that apply after execution. This survey examines Multimodal Code Intelligence, covering systems that generate, edit, refine, or reason with code under visually grounded inputs and outputs. We first formulate the field by the role that code plays in each task, distinguishing code as a rendered artifact, an editable symbolic structure, a scientific representation, an intermediate reasoning trace, or an executable policy or tool interface. We then organize benchmarks and methods into four domains: Graphical User Interface, Scientific Visualization, Structured Graphics, and Frontier Tasks and Frameworks. This taxonomy connects mature artifact-generation problems to emerging agentic and unified settings and allows us to compare how different tasks treat evidence of correctness. Looking ahead, we argue that future research may benefit from four verification-centered directions. Multi-signal validation can combine complementary evidence of correctness, multi-state verification can test behavior across execution trajectories, cross-task transfer testing can probe reusable visual-code skills, and verifiable agent traces can reveal whether agent actions are grounded in visual evidence. Together, these directions may move this field from single-output imitation toward evidence-grounded executable systems. An ongoing project and resources are available on https://github.com/xjywhu/Awesome-Multimodal-LLM-for-Code{GitHub}.