JanusCoder: Verso un'Interfaccia Visivo-Programmatica Fondamentale per l'Intelligenza del Codice

JanusCoder: Towards a Foundational Visual-Programmatic Interface for Code Intelligence

October 27, 2025

Autori: Qiushi Sun, Jingyang Gong, Yang Liu, Qiaosheng Chen, Lei Li, Kai Chen, Qipeng Guo, Ben Kao, Fei Yuan

cs.AI

Abstract

L'ambito dell'intelligenza neurale del codice si sta rapidamente espandendo oltre il codice sorgente testuale per abbracciare i ricchi output visivi generati dai programmi. Questa dimensione visiva è fondamentale per applicazioni avanzate come la generazione flessibile di contenuti e l'editing preciso e guidato da programma delle visualizzazioni. Tuttavia, il progresso è stato ostacolato dalla scarsità di dati di codice multimodale di alta qualità, un collo di bottiglia derivante dalle sfide nella sintesi e nella valutazione della qualità. Per affrontare queste sfide, apportiamo contributi sia da una prospettiva di dati che di modellazione. Introduciamo prima un toolkit di sintesi completo che sfrutta sinergie reciproche tra le modalità dei dati per produrre efficientemente un corpus su larga scala e di alta qualità, che spazia da grafici standard a complesse interfacce utente web interattive e animazioni guidate da codice. Sfruttando questo toolkit, costruiamo JanusCode-800K, il più grande corpus di codice multimodale fino ad oggi. Ciò alimenta l'addestramento dei nostri modelli, JanusCoder e JanusCoderV, che stabiliscono un'interfaccia visivo-programmatica per generare codice da istruzioni testuali, input visivi o una combinazione di entrambi. Il nostro modello unificato rappresenta un distacco dagli approcci esistenti che costruiscono modelli specializzati per compiti isolati. Esperimenti estesi su compiti di codifica sia incentrati sul testo che sulla visione dimostrano le prestazioni superiori della serie JanusCoder, con i nostri modelli su scala da 7B a 14B che si avvicinano o addirittura superano le prestazioni dei modelli commerciali. Inoltre, un'analisi approfondita fornisce intuizioni chiave sull'armonizzazione della logica programmatica con la sua espressione visiva. Il nostro codice e i nostri checkpoint sono disponibili su https://github.com/InternLM/JanusCoder.

English

The scope of neural code intelligence is rapidly expanding beyond text-based source code to encompass the rich visual outputs that programs generate. This visual dimension is critical for advanced applications like flexible content generation and precise, program-driven editing of visualizations. However, progress has been impeded by the scarcity of high-quality multimodal code data, a bottleneck stemming from challenges in synthesis and quality assessment. To address these challenges, we make contributions from both a data and modeling perspective. We first introduce a complete synthesis toolkit that leverages reciprocal synergies between data modalities to efficiently produce a large-scale, high-quality corpus spanning from standard charts to complex interactive web UIs and code-driven animations. Leveraging this toolkit, we construct JanusCode-800K, the largest multimodal code corpus to date. This powers the training of our models, JanusCoder and JanusCoderV, which establish a visual-programmatic interface for generating code from textual instructions, visual inputs, or a combination of both. Our unified model is a departure from existing approaches that build specialized models for isolated tasks. Extensive experiments on both text-centric and vision-centric coding tasks demonstrate the superior performance of the JanusCoder series, with our 7B to 14B scale models approaching or even exceeding the performance of commercial models. Furthermore, extensive analysis provides key insights into harmonizing programmatic logic with its visual expression. Our code and checkpoints will are available at https://github.com/InternLM/JanusCoder.