JanusCoder: Op Weg naar een Fundamenteel Visueel-Programmatisch Interface voor Code-intelligentie

JanusCoder: Towards a Foundational Visual-Programmatic Interface for Code Intelligence

October 27, 2025

Auteurs: Qiushi Sun, Jingyang Gong, Yang Liu, Qiaosheng Chen, Lei Li, Kai Chen, Qipeng Guo, Ben Kao, Fei Yuan

cs.AI

Samenvatting

Het onderzoeksgebied van neurale code-intelligentie breidt zich snel uit voorbij tekstgebaseerde broncode om ook de rijke visuele output te omvatten die programma's genereren. Deze visuele dimensie is cruciaal voor geavanceerde toepassingen zoals flexibele contentgeneratie en precieze, programmagedreven bewerking van visualisaties. De vooruitgang wordt echter belemmerd door een tekort aan hoogwaardige multimodale codegegevens, een knelpunt dat voortkomt uit uitdagingen bij synthese en kwaliteitsbeoordeling. Om deze uitdagingen aan te pakken, doen wij bijdragen vanuit zowel een data- als een modelleerperspectief. We introduceren eerst een complete synthese-toolkit die wederzijdse synergieën tussen datamodaliteiten benut om efficiënt een grootschalig, hoogwaardig corpus te produceren, variërend van standaardgrafieken tot complexe interactieve web-interfaces en code-gedreven animaties. Gebruikmakend van deze toolkit, construeren we JanusCode-800K, het grootste multimodale codecorpus tot op heden. Dit maakt de training mogelijk van onze modellen, JanusCoder en JanusCoderV, die een visueel-programmatische interface vestigen voor het genereren van code op basis van tekstuele instructies, visuele invoer, of een combinatie van beide. Ons verenigde model wijkt af van bestaande benaderingen die gespecialiseerde modellen bouwen voor geïsoleerde taken. Uitgebreide experimenten op zowel tekstgecentreerde als visiegecentreerde codeertaken tonen de superieure prestaties van de JanusCoder-serie aan, waarbij onze modellen op schaal van 7B tot 14B de prestaties van commerciële modellen benaderen of zelfs overtreffen. Verder biedt uitgebreide analyse belangrijke inzichten in het harmoniseren van programmatische logica met zijn visuele expressie. Onze code en checkpoints zijn beschikbaar op https://github.com/InternLM/JanusCoder.

English

The scope of neural code intelligence is rapidly expanding beyond text-based source code to encompass the rich visual outputs that programs generate. This visual dimension is critical for advanced applications like flexible content generation and precise, program-driven editing of visualizations. However, progress has been impeded by the scarcity of high-quality multimodal code data, a bottleneck stemming from challenges in synthesis and quality assessment. To address these challenges, we make contributions from both a data and modeling perspective. We first introduce a complete synthesis toolkit that leverages reciprocal synergies between data modalities to efficiently produce a large-scale, high-quality corpus spanning from standard charts to complex interactive web UIs and code-driven animations. Leveraging this toolkit, we construct JanusCode-800K, the largest multimodal code corpus to date. This powers the training of our models, JanusCoder and JanusCoderV, which establish a visual-programmatic interface for generating code from textual instructions, visual inputs, or a combination of both. Our unified model is a departure from existing approaches that build specialized models for isolated tasks. Extensive experiments on both text-centric and vision-centric coding tasks demonstrate the superior performance of the JanusCoder series, with our 7B to 14B scale models approaching or even exceeding the performance of commercial models. Furthermore, extensive analysis provides key insights into harmonizing programmatic logic with its visual expression. Our code and checkpoints will are available at https://github.com/InternLM/JanusCoder.