Jenseits von NL2Code: Eine strukturierte Übersicht über multimodale Code-Intelligenz

Zusammenfassung

Während Große Sprachmodelle (Large Language Models, LLMs) die Text-zu-Code-Synthese erheblich vorangebracht haben, spezifizieren viele reale Programmieraufgaben die Absicht durch visuelle Artefakte wie Screenshots, Diagramme, Vektorgrafiken, Videos und interaktive Zustände. Diese Aufgaben erfordern von Modellen, visuelle Wahrnehmung mit ausführbaren Programmen zu verknüpfen, da die Korrektheit nicht nur von der Syntax, sondern auch vom Layout, der Datensemantik, dem Interaktionsverhalten und domänenspezifischen Einschränkungen abhängt, die nach der Ausführung gelten. Diese Untersuchung betrachtet multimodale Code-Intelligenz und umfasst Systeme, die Code unter visuell gestützten Eingaben und Ausgaben generieren, bearbeiten, verfeinern oder damit argumentieren. Wir formulieren das Feld zunächst anhand der Rolle, die Code in jeder Aufgabe spielt, und unterscheiden Code als gerendertes Artefakt, als editierbare symbolische Struktur, als wissenschaftliche Darstellung, als Zwischenablage einer Reasoning-Spur oder als ausführbare Richtlinie bzw. Werkzeugschnittstelle. Anschließend organisieren wir Benchmarks und Methoden in vier Bereiche: grafische Benutzeroberfläche, wissenschaftliche Visualisierung, strukturierte Grafiken sowie Grenzaufgaben und Frameworks. Diese Taxonomie verbindet ausgereifte Probleme der Artefakterzeugung mit aufkommenden agentischen und vereinheitlichten Umgebungen und ermöglicht uns zu vergleichen, wie verschiedene Aufgaben mit Korrektheitsbelegen umgehen. Mit Blick in die Zukunft argumentieren wir, dass die zukünftige Forschung von vier verifikationszentrierten Richtungen profitieren könnte. Multi-Signal-Validierung kann komplementäre Korrektheitsbelege kombinieren, Multi-Zustands-Verifikation kann das Verhalten über Ausführungspfade hinweg testen, aufgabenübergreifende Transfertests können wiederverwendbare visuell-code-bezogene Fähigkeiten untersuchen, und verifizierbare Agentenspuren können aufdecken, ob Agentenhandlungen auf visuellen Belegen beruhen. Zusammengenommen könnten diese Richtungen das Feld von der Einzelausgabe-Imitationslogik hin zu evidenzbasierten ausführbaren Systemen bewegen. Ein laufendes Projekt und Ressourcen sind verfügbar unter https://github.com/xjywhu/Awesome-Multimodal-LLM-for-Code{GitHub}.

English

While Large Language Models (LLMs) have substantially advanced text-to-code synthesis, many real programming tasks specify intent through visual artifacts such as screenshots, charts, vector drawings, videos, and interactive states. These tasks require models to connect visual perception to executable programs, because correctness depends not only on syntax but also on layout, data semantics, interaction behavior, and domain-specific constraints that apply after execution. This survey examines Multimodal Code Intelligence, covering systems that generate, edit, refine, or reason with code under visually grounded inputs and outputs. We first formulate the field by the role that code plays in each task, distinguishing code as a rendered artifact, an editable symbolic structure, a scientific representation, an intermediate reasoning trace, or an executable policy or tool interface. We then organize benchmarks and methods into four domains: Graphical User Interface, Scientific Visualization, Structured Graphics, and Frontier Tasks and Frameworks. This taxonomy connects mature artifact-generation problems to emerging agentic and unified settings and allows us to compare how different tasks treat evidence of correctness. Looking ahead, we argue that future research may benefit from four verification-centered directions. Multi-signal validation can combine complementary evidence of correctness, multi-state verification can test behavior across execution trajectories, cross-task transfer testing can probe reusable visual-code skills, and verifiable agent traces can reveal whether agent actions are grounded in visual evidence. Together, these directions may move this field from single-output imitation toward evidence-grounded executable systems. An ongoing project and resources are available on https://github.com/xjywhu/Awesome-Multimodal-LLM-for-Code{GitHub}.