LLaDA-Image: 완전 공개 학습 레시피로 구축하는 강력한 이미지 생성기

초록

본 논문에서는 처음부터 학습된 6B 디퓨전 트랜스포머(DiT)를 LLaDA2.0-Mini 디퓨전 언어 모델 백본 기반의 동결된 비전-언어 이해 모듈과 결합하는 통합 프레임워크인 LLaDA-Image를 제안한다. 초기부터 대량의 이미지-텍스트 쌍 데이터에 크게 의존하는 대신, 이미지 전용 사전 학습(Pre-training) 및 중간 학습(Mid-training)을 통해 강력한 시각적 생성 사전 지식을 먼저 구축한다. 생성 파이프라인은 220M 샘플로 구성되며, 이 중 98%는 실제 이미지이다. 효율적이고 확장 가능한 최적화를 위해 DiT 전체에 파라미터 프리 RMSNorm과 Muon 옵티마이저를 사용한다. 그 결과로 얻은 통합 모델은 세밀한 편집 지침을 정확히 따르면서 매우 사실적인 이미지를 생성한다. 또한 LLaDA-Image를 LLaDA-Image-Turbo로 증류하여 2~4회의 샘플링 스텝으로 빠른 추론을 가능하게 한다. Qwen-Image-Bench에서 LLaDA-Image는 영어 트랙과 중국어 트랙에서 각각 53.53과 53.38의 전체 점수를 달성하여 두 트랙 모두에서 오픈소스 모델 중 새로운 최첨단 성능을 기록했다. 유능하고 효율적인 생성 모델에 대한 추가 연구를 지원하기 위해 모델 가중치, 학습 코드 및 상세한 레시피를 공개한다.

English

We introduce LLaDA-Image, a unified framework that pairs a 6B Diffusion Transformer (DiT) trained from scratch with a frozen vision-language understanding module built on the LLaDA2.0-Mini diffusion language model backbone. Instead of relying heavily on paired image-text data from the beginning, we first build a strong visual generative prior through image-only pre-training and mid-training. The generation pipeline comprises 220M samples, 98 of which are real images. For efficient and scalable optimization, we use parameter-free RMSNorm throughout the DiT together with the Muon optimizer. The resulting unified model produces highly photorealistic images while accurately following fine-grained editing instructions. We further distill LLaDA-Image into LLaDA-Image-Turbo, enabling fast inference in 2-4 sampling steps. On Qwen-Image-Bench, LLaDA-Image achieves overall scores of 53.53 and 53.38 on the English and Chinese tracks, respectively, setting a new state-of-the-art among open-source models on both tracks. To support further research on capable and efficient generative models, we release our model weights, training code, and detailed recipes.