i1: Uma Receita Simples e Totalmente Aberta para Modelos Robusto de Texto para Imagem

Resumo

Modelos de difusão têm impulsionado consistentemente o progresso na geração de texto para imagem. No entanto, é desafiador atribuir os avanços recentes a escolhas específicas de modelagem e dados: modelos de pesos abertos de ponta fornecem ablações limitadas e não divulgam seus dados de treinamento nem os detalhes completos do treinamento. A comunidade de pesquisa precisa de modelos totalmente abertos (pesos, dados e código) como base para pesquisas futuras; contudo, os modelos totalmente abertos existentes ainda ficam significativamente aquém dos modelos líderes em desempenho. Neste projeto, conduzimos uma investigação sistemática das escolhas de modelagem e design de dados no treinamento e inferência de difusão de texto para imagem, com mais de 300 experimentos controlados totalizando mais de 700 mil horas de TPU v6e. Nossos experimentos destacam várias descobertas empíricas (por exemplo, ponderação igualitária é um padrão forte para misturar conjuntos de dados curados) e decisões de design simples (por exemplo, adaptadores de codificador de texto maiores melhoram o desempenho com adição mínima de parâmetros) para treinar modelos robustos. Guiados por esses insights, treinamos o i1, um modelo de difusão de texto para imagem com 3 bilhões de parâmetros, utilizando apenas conjuntos de dados publicamente disponíveis. O i1 é competitivo com modelos líderes em cinco benchmarks representativos (GenEval, DPG, PRISM, CVTG-2K e LongText) e supera o melhor modelo totalmente aberto existente em 29,5 pontos percentuais absolutos, em média. Disponibilizamos os checkpoints do i1, o código de treinamento e inferência, e o pipeline de processamento de dados. Juntos, nossos achados e a receita do i1 estabelecem uma base prática para futuras pesquisas abertas em modelos de difusão de texto para imagem. Nosso código está disponível em https://github.com/zlab-princeton/i1.

English

Diffusion models have consistently driven progress in text-to-image generation. However, it is challenging to attribute recent progress to specific modeling and data choices: state-of-the-art open-weight models provide limited ablations, and do not disclose their training data and full training details. The research community needs fully open (weights, data, and code) models as a foundation for further research; yet existing fully open models still fall significantly short of leading models in performance. In this project, we conduct a systematic investigation of the modeling and data design choices in text-to-image diffusion training and inference with 300+ controlled experiments totaling 700K+ TPU v6e hours. Our experiments highlight several empirical findings (e.g., equal weighting is a strong default for mixing curated datasets) and simple design decisions (e.g., larger text encoder adapters improve performance with minimal added parameters) for training strong models. Guided by these insights, we train i1, a 3B-parameter text-to-image diffusion model using only publicly available datasets. i1 is competitive with leading models on five representative benchmarks (GenEval, DPG, PRISM, CVTG-2K, and LongText), and outperforms the best existing fully open model by 29.5 absolute percentage points on average. We provide the i1 checkpoints, training and inference code, and the data processing pipeline. Together, our findings and the i1 recipe establish a practical foundation for future open research in text-to-image diffusion models. Our code is available at https://github.com/zlab-princeton/i1.