JanusCoder: Rumo a uma Interface Visual-Programática Fundamental para Inteligência de Código

JanusCoder: Towards a Foundational Visual-Programmatic Interface for Code Intelligence

October 27, 2025

Autores: Qiushi Sun, Jingyang Gong, Yang Liu, Qiaosheng Chen, Lei Li, Kai Chen, Qipeng Guo, Ben Kao, Fei Yuan

cs.AI

Resumo

O âmbito da inteligência de código neural está a expandir-se rapidamente para além do código-fonte baseado em texto, abrangendo os ricos resultados visuais que os programas geram. Esta dimensão visual é crítica para aplicações avançadas, como a geração flexível de conteúdo e a edição precisa e orientada por programas de visualizações. No entanto, o progresso tem sido dificultado pela escassez de dados de código multimodal de alta qualidade, um estrangulamento que decorre dos desafios na síntese e avaliação da qualidade. Para enfrentar estes desafios, apresentamos contribuições tanto a nível de dados como de modelação. Primeiro, introduzimos um *toolkit* de síntese completo que aproveita sinergias recíprocas entre as modalidades de dados para produzir eficientemente um *corpus* em larga escala e de alta qualidade, abrangendo desde gráficos padrão até interfaces de utilizador web interativas complexas e animações orientadas por código. Aproveitando este *toolkit*, construímos o JanusCode-800K, o maior *corpus* de código multimodal até à data. Isto possibilita o treino dos nossos modelos, JanusCoder e JanusCoderV, que estabelecem uma interface visual-programática para gerar código a partir de instruções textuais, entradas visuais ou de uma combinação de ambas. O nosso modelo unificado representa uma rutura face às abordagens existentes que constroem modelos especializados para tarefas isoladas. Experiências extensivas em tarefas de codificação centradas em texto e centradas na visão demonstram o desempenho superior da série JanusCoder, com os nossos modelos de escala 7B a 14B a aproximarem-se ou mesmo a excederem o desempenho de modelos comerciais. Adicionalmente, uma análise extensiva fornece informações-chave sobre a harmonização da lógica programática com a sua expressão visual. O nosso código e *checkpoints* estão disponíveis em https://github.com/InternLM/JanusCoder.

English

The scope of neural code intelligence is rapidly expanding beyond text-based source code to encompass the rich visual outputs that programs generate. This visual dimension is critical for advanced applications like flexible content generation and precise, program-driven editing of visualizations. However, progress has been impeded by the scarcity of high-quality multimodal code data, a bottleneck stemming from challenges in synthesis and quality assessment. To address these challenges, we make contributions from both a data and modeling perspective. We first introduce a complete synthesis toolkit that leverages reciprocal synergies between data modalities to efficiently produce a large-scale, high-quality corpus spanning from standard charts to complex interactive web UIs and code-driven animations. Leveraging this toolkit, we construct JanusCode-800K, the largest multimodal code corpus to date. This powers the training of our models, JanusCoder and JanusCoderV, which establish a visual-programmatic interface for generating code from textual instructions, visual inputs, or a combination of both. Our unified model is a departure from existing approaches that build specialized models for isolated tasks. Extensive experiments on both text-centric and vision-centric coding tasks demonstrate the superior performance of the JanusCoder series, with our 7B to 14B scale models approaching or even exceeding the performance of commercial models. Furthermore, extensive analysis provides key insights into harmonizing programmatic logic with its visual expression. Our code and checkpoints will are available at https://github.com/InternLM/JanusCoder.