i1: Een eenvoudig en volledig open recept voor krachtige tekst-naar-beeld modellen

Samenvatting

Diffusiemodellen hebben consequent vooruitgang geboekt in tekst-naar-beeld generatie. Het is echter een uitdaging om recente vooruitgang toe te schrijven aan specifieke model- en datakeuzes: state-of-the-art open-gewichtsmodellen bieden beperkte ablatiestudies en maken hun trainingsgegevens en volledige trainingsdetails niet openbaar. De onderzoeksgemeenschap heeft volledig open (gewichten, data en code) modellen nodig als basis voor verder onderzoek; toch blijven bestaande volledig open modellen aanzienlijk achter bij toonaangevende modellen wat prestaties betreft. In dit project voeren we een systematisch onderzoek uit naar de model- en dataontwerpkeuzes in tekst-naar-beeld diffusietraining en -inferentie met 300+ gecontroleerde experimenten in totaal 700K+ TPU v6e-uren. Onze experimenten benadrukken verschillende empirische bevindingen (bijv. gelijke weging is een sterke standaard voor het mengen van samengestelde datasets) en eenvoudige ontwerpbeslissingen (bijv. grotere tekstencoderadapters verbeteren prestaties met minimale toegevoegde parameters) voor het trainen van sterke modellen. Geleid door deze inzichten trainen we i1, een 3B-parameter tekst-naar-beeld diffusiemodel dat alleen gebruikmaakt van openbaar beschikbare datasets. i1 is concurrerend met toonaangevende modellen op vijf representatieve benchmarks (GenEval, DPG, PRISM, CVTG-2K en LongText) en presteert gemiddeld 29,5 absolute procentpunten beter dan het beste bestaande volledig open model. We verstrekken de i1-checkpoints, trainings- en inferentiecode en de dataverwerkingspijplijn. Samen leggen onze bevindingen en het i1-recept een praktische basis voor toekomstig open onderzoek naar tekst-naar-beeld diffusiemodellen. Onze code is beschikbaar op https://github.com/zlab-princeton/i1.

English

Diffusion models have consistently driven progress in text-to-image generation. However, it is challenging to attribute recent progress to specific modeling and data choices: state-of-the-art open-weight models provide limited ablations, and do not disclose their training data and full training details. The research community needs fully open (weights, data, and code) models as a foundation for further research; yet existing fully open models still fall significantly short of leading models in performance. In this project, we conduct a systematic investigation of the modeling and data design choices in text-to-image diffusion training and inference with 300+ controlled experiments totaling 700K+ TPU v6e hours. Our experiments highlight several empirical findings (e.g., equal weighting is a strong default for mixing curated datasets) and simple design decisions (e.g., larger text encoder adapters improve performance with minimal added parameters) for training strong models. Guided by these insights, we train i1, a 3B-parameter text-to-image diffusion model using only publicly available datasets. i1 is competitive with leading models on five representative benchmarks (GenEval, DPG, PRISM, CVTG-2K, and LongText), and outperforms the best existing fully open model by 29.5 absolute percentage points on average. We provide the i1 checkpoints, training and inference code, and the data processing pipeline. Together, our findings and the i1 recipe establish a practical foundation for future open research in text-to-image diffusion models. Our code is available at https://github.com/zlab-princeton/i1.