Más Allá de NL2Code: Un Estudio Estructurado de la Inteligencia de Código Multimodal

Resumen

Mientras que los Modelos de Lenguaje de Gran Escala (LLMs) han avanzado sustancialmente la síntesis de texto a código, muchas tareas de programación reales especifican la intención a través de artefactos visuales como capturas de pantalla, gráficos, dibujos vectoriales, videos y estados interactivos. Estas tareas requieren que los modelos conecten la percepción visual con programas ejecutables, porque la corrección depende no solo de la sintaxis, sino también del diseño, la semántica de los datos, el comportamiento interactivo y las restricciones específicas del dominio que se aplican tras la ejecución. Esta encuesta examina la Inteligencia de Código Multimodal, abarcando sistemas que generan, editan, refinan o razonan con código bajo entradas y salidas visualmente fundamentadas. Primero formulamos el campo según el rol que el código desempeña en cada tarea, distinguiendo el código como artefacto renderizado, estructura simbólica editable, representación científica, traza de razonamiento intermedio, o política ejecutable/interfaz de herramienta. Luego organizamos puntos de referencia y métodos en cuatro dominios: Interfaz Gráfica de Usuario, Visualización Científica, Gráficos Estructurados, y Tareas y Marcos de Frontera. Esta taxonomía conecta problemas maduros de generación de artefactos con entornos agentivos y unificados emergentes, y nos permite comparar cómo distintas tareas tratan la evidencia de corrección. De cara al futuro, argumentamos que la investigación futura podría beneficiarse de cuatro direcciones centradas en la verificación. La validación multiseñal puede combinar evidencias complementarias de corrección; la verificación multiestado puede probar el comportamiento a lo largo de trayectorias de ejecución; las pruebas de transferencia entre tareas pueden sondear habilidades reutilizables de código visual; y las trazas de agente verificables pueden revelar si las acciones del agente están fundamentadas en evidencia visual. En conjunto, estas direcciones pueden mover este campo desde la imitación de salida única hacia sistemas ejecutables basados en evidencia. Un proyecto en curso y recursos están disponibles en https://github.com/xjywhu/Awesome-Multimodal-LLM-for-Code{GitHub}.

English

While Large Language Models (LLMs) have substantially advanced text-to-code synthesis, many real programming tasks specify intent through visual artifacts such as screenshots, charts, vector drawings, videos, and interactive states. These tasks require models to connect visual perception to executable programs, because correctness depends not only on syntax but also on layout, data semantics, interaction behavior, and domain-specific constraints that apply after execution. This survey examines Multimodal Code Intelligence, covering systems that generate, edit, refine, or reason with code under visually grounded inputs and outputs. We first formulate the field by the role that code plays in each task, distinguishing code as a rendered artifact, an editable symbolic structure, a scientific representation, an intermediate reasoning trace, or an executable policy or tool interface. We then organize benchmarks and methods into four domains: Graphical User Interface, Scientific Visualization, Structured Graphics, and Frontier Tasks and Frameworks. This taxonomy connects mature artifact-generation problems to emerging agentic and unified settings and allows us to compare how different tasks treat evidence of correctness. Looking ahead, we argue that future research may benefit from four verification-centered directions. Multi-signal validation can combine complementary evidence of correctness, multi-state verification can test behavior across execution trajectories, cross-task transfer testing can probe reusable visual-code skills, and verifiable agent traces can reveal whether agent actions are grounded in visual evidence. Together, these directions may move this field from single-output imitation toward evidence-grounded executable systems. An ongoing project and resources are available on https://github.com/xjywhu/Awesome-Multimodal-LLM-for-Code{GitHub}.