i1: 強力なテキスト画像生成モデルのためのシンプルで完全にオープンなレシピ

要旨

拡散モデルは、テキストから画像生成（text-to-image generation）の進展を一貫して牽引してきた。しかし、最近の進歩を特定のモデリング手法やデータ選択に帰属することは難しい。最先端のオープンウェイトモデルは限られたアブレーションしか提供しておらず、訓練データや訓練の詳細を開示していないからである。研究コミュニティは、さらなる研究の基盤として完全にオープン（ウェイト、データ、コード）なモデルを必要としているが、既存の完全オープンモデルは、依然として性能面で主要モデルに大きく劣る。本プロジェクトでは、テキストから画像生成の拡散モデルにおける訓練と推論のためのモデリングおよびデータ設計の選択肢について、700K時間以上のTPU v6e時間を費やした300以上の制御された実験を通じて系統的に調査する。我々の実験は、いくつかの実証的な知見（例えば、厳選したデータセットを混合する際のデフォルトとして等価重み付けが強力であること）や、強力なモデルを訓練するための単純な設計上の決定（例えば、より大きなテキストエンコーダアダプタが、わずかなパラメータ増加で性能を向上させること）を浮き彫りにする。これらの洞察に導かれ、我々は公開データセットのみを用いて3Bパラメータのテキストから画像生成拡散モデルi1を訓練した。i1は、5つの代表的ベンチマーク（GenEval、DPG、PRISM、CVTG-2K、LongText）において主要モデルと競合し、既存の最良の完全オープンモデルを平均で29.5絶対パーセントポイント上回る。我々は、i1のチェックポイント、訓練および推論コード、そしてデータ処理パイプラインを提供する。これらの知見とi1のレシピは、テキストから画像生成拡散モデルにおける今後のオープン研究のための実践的な基盤を確立する。コードはhttps://github.com/zlab-princeton/i1で入手可能である。

English

Diffusion models have consistently driven progress in text-to-image generation. However, it is challenging to attribute recent progress to specific modeling and data choices: state-of-the-art open-weight models provide limited ablations, and do not disclose their training data and full training details. The research community needs fully open (weights, data, and code) models as a foundation for further research; yet existing fully open models still fall significantly short of leading models in performance. In this project, we conduct a systematic investigation of the modeling and data design choices in text-to-image diffusion training and inference with 300+ controlled experiments totaling 700K+ TPU v6e hours. Our experiments highlight several empirical findings (e.g., equal weighting is a strong default for mixing curated datasets) and simple design decisions (e.g., larger text encoder adapters improve performance with minimal added parameters) for training strong models. Guided by these insights, we train i1, a 3B-parameter text-to-image diffusion model using only publicly available datasets. i1 is competitive with leading models on five representative benchmarks (GenEval, DPG, PRISM, CVTG-2K, and LongText), and outperforms the best existing fully open model by 29.5 absolute percentage points on average. We provide the i1 checkpoints, training and inference code, and the data processing pipeline. Together, our findings and the i1 recipe establish a practical foundation for future open research in text-to-image diffusion models. Our code is available at https://github.com/zlab-princeton/i1.