JanusCoder: К созданию базового визуально-программного интерфейса для интеллектуального анализа кода

JanusCoder: Towards a Foundational Visual-Programmatic Interface for Code Intelligence

October 27, 2025

Авторы: Qiushi Sun, Jingyang Gong, Yang Liu, Qiaosheng Chen, Lei Li, Kai Chen, Qipeng Guo, Ben Kao, Fei Yuan

cs.AI

Аннотация

Сфера нейрокода для искусственного интеллекта быстро расширяется за пределы текстового исходного кода, охватывая богатые визуальные результаты, генерируемые программами. Это визуальное измерение критически важно для передовых приложений, таких как гибкая генерация контента и точное программно-управляемое редактирование визуализаций. Однако прогресс сдерживается нехваткой высококачественных мультимодальных данных кода — узким местом, вызванным сложностями синтеза и оценки качества. Чтобы решить эти проблемы, мы вносим вклад как с точки зрения данных, так и с точки зрения моделирования. Сначала мы представляем комплексный инструментарий для синтеза, который использует взаимную синергию между модальностями данных для эффективного создания крупномасштабного высококачественного корпуса — от стандартных диаграмм до сложных интерактивных веб-интерфейсов и анимаций, управляемых кодом. Используя этот инструментарий, мы создаем JanusCode-800K — крупнейший на сегодняшний день мультимодальный корпус кода. Это позволяет обучать наши модели, JanusCoder и JanusCoderV, которые устанавливают визуально-программный интерфейс для генерации кода из текстовых инструкций, визуальных входных данных или их комбинации. Наша унифицированная модель представляет собой отход от существующих подходов, которые создают специализированные модели для изолированных задач. Многочисленные эксперименты как на тексто-ориентированных, так и на визуально-ориентированных задачах программирования демонстрируют превосходную производительность серии JanusCoder, при этом наши модели масштаба от 7B до 14B приближаются или даже превосходят производительность коммерческих моделей. Кроме того, всесторонний анализ дает ключевые идеи для гармонизации программной логики с ее визуальным выражением. Наш код и контрольные точки доступны по адресу https://github.com/InternLM/JanusCoder.

English

The scope of neural code intelligence is rapidly expanding beyond text-based source code to encompass the rich visual outputs that programs generate. This visual dimension is critical for advanced applications like flexible content generation and precise, program-driven editing of visualizations. However, progress has been impeded by the scarcity of high-quality multimodal code data, a bottleneck stemming from challenges in synthesis and quality assessment. To address these challenges, we make contributions from both a data and modeling perspective. We first introduce a complete synthesis toolkit that leverages reciprocal synergies between data modalities to efficiently produce a large-scale, high-quality corpus spanning from standard charts to complex interactive web UIs and code-driven animations. Leveraging this toolkit, we construct JanusCode-800K, the largest multimodal code corpus to date. This powers the training of our models, JanusCoder and JanusCoderV, which establish a visual-programmatic interface for generating code from textual instructions, visual inputs, or a combination of both. Our unified model is a departure from existing approaches that build specialized models for isolated tasks. Extensive experiments on both text-centric and vision-centric coding tasks demonstrate the superior performance of the JanusCoder series, with our 7B to 14B scale models approaching or even exceeding the performance of commercial models. Furthermore, extensive analysis provides key insights into harmonizing programmatic logic with its visual expression. Our code and checkpoints will are available at https://github.com/InternLM/JanusCoder.