LLaDA-Image：完全に公開された学習手法による高性能画像生成器の構築

要旨

我々はLLaDA-Imageを紹介する。これは、スクラッチから訓練された6B拡散トランスフォーマー（DiT）と、LLaDA2.0-Mini拡散言語モデルのバックボーン上に構築された凍結済み視覚言語理解モジュールを組み合わせた統一フレームワークである。最初から画像・テキストのペアデータに大きく依存するのではなく、まず画像のみによる事前学習と中間学習を通じて、強い視覚的生成事前分布を構築する。生成パイプラインは2億2,000万サンプルで構成され、そのうち98枚が実画像である。効率的かつスケーラブルな最適化のために、DiT全体でパラメータフリーのRMSNormを、Muonオプティマイザと併せて使用する。その結果得られた統一モデルは、細粒度の編集指示に正確に従いながら、極めて写実的な画像を生成する。さらに、LLaDA-ImageをLLaDA-Image-Turboへ蒸留し、2〜4サンプリングステップでの高速推論を可能にする。Qwen-Image-Benchでは、LLaDA-Imageは英語トラックと中国語トラックでそれぞれ総合スコア53.53と53.38を達成し、両トラックでオープンソースモデルの中で新たな最先端を記録した。高性能かつ効率的な生成モデルに関するさらなる研究を支援するため、我々はモデルの重み、学習コード、詳細なレシピを公開する。

English

We introduce LLaDA-Image, a unified framework that pairs a 6B Diffusion Transformer (DiT) trained from scratch with a frozen vision-language understanding module built on the LLaDA2.0-Mini diffusion language model backbone. Instead of relying heavily on paired image-text data from the beginning, we first build a strong visual generative prior through image-only pre-training and mid-training. The generation pipeline comprises 220M samples, 98 of which are real images. For efficient and scalable optimization, we use parameter-free RMSNorm throughout the DiT together with the Muon optimizer. The resulting unified model produces highly photorealistic images while accurately following fine-grained editing instructions. We further distill LLaDA-Image into LLaDA-Image-Turbo, enabling fast inference in 2-4 sampling steps. On Qwen-Image-Bench, LLaDA-Image achieves overall scores of 53.53 and 53.38 on the English and Chinese tracks, respectively, setting a new state-of-the-art among open-source models on both tracks. To support further research on capable and efficient generative models, we release our model weights, training code, and detailed recipes.

LLaDA-Image：完全に公開された学習手法による高性能画像生成器の構築

LLaDA-Image: Building Strong Image Generators with Fully Open Training Recipes

要旨

Support