i1: Una receta simple y completamente abierta para modelos fuertes de texto a imagen

Resumen

Los modelos de difusión han impulsado consistentemente el progreso en la generación de texto a imagen. Sin embargo, resulta difícil atribuir los avances recientes a opciones específicas de modelado y datos: los modelos de pesos abiertos más avanzados ofrecen ablaciones limitadas y no divulgan sus datos de entrenamiento ni los detalles completos del mismo. La comunidad investigadora necesita modelos completamente abiertos (pesos, datos y código) como base para futuras investigaciones; sin embargo, los modelos completamente abiertos existentes aún tienen un rendimiento significativamente inferior al de los modelos líderes. En este proyecto, realizamos una investigación sistemática de las opciones de diseño de modelado y datos en el entrenamiento e inferencia de difusión texto a imagen, con más de 300 experimentos controlados que suman más de 700 000 horas de TPU v6e. Nuestros experimentos destacan varios hallazgos empíricos (por ejemplo, la ponderación igualitaria es un valor predeterminado sólido para mezclar conjuntos de datos curados) y decisiones de diseño simples (por ejemplo, adaptadores de codificador de texto más grandes mejoran el rendimiento con parámetros agregados mínimos) para entrenar modelos robustos. Guiados por estos conocimientos, entrenamos i1, un modelo de difusión texto a imagen de 3 mil millones de parámetros que utiliza únicamente conjuntos de datos disponibles públicamente. i1 es competitivo con los modelos líderes en cinco puntos de referencia representativos (GenEval, DPG, PRISM, CVTG-2K y LongText), y supera al mejor modelo completamente abierto existente en un promedio de 29,5 puntos porcentuales absolutos. Proporcionamos los puntos de control de i1, el código de entrenamiento e inferencia, y la tubería de procesamiento de datos. En conjunto, nuestros hallazgos y la receta de i1 establecen una base práctica para futuras investigaciones abiertas en modelos de difusión texto a imagen. Nuestro código está disponible en https://github.com/zlab-princeton/i1.

English

Diffusion models have consistently driven progress in text-to-image generation. However, it is challenging to attribute recent progress to specific modeling and data choices: state-of-the-art open-weight models provide limited ablations, and do not disclose their training data and full training details. The research community needs fully open (weights, data, and code) models as a foundation for further research; yet existing fully open models still fall significantly short of leading models in performance. In this project, we conduct a systematic investigation of the modeling and data design choices in text-to-image diffusion training and inference with 300+ controlled experiments totaling 700K+ TPU v6e hours. Our experiments highlight several empirical findings (e.g., equal weighting is a strong default for mixing curated datasets) and simple design decisions (e.g., larger text encoder adapters improve performance with minimal added parameters) for training strong models. Guided by these insights, we train i1, a 3B-parameter text-to-image diffusion model using only publicly available datasets. i1 is competitive with leading models on five representative benchmarks (GenEval, DPG, PRISM, CVTG-2K, and LongText), and outperforms the best existing fully open model by 29.5 absolute percentage points on average. We provide the i1 checkpoints, training and inference code, and the data processing pipeline. Together, our findings and the i1 recipe establish a practical foundation for future open research in text-to-image diffusion models. Our code is available at https://github.com/zlab-princeton/i1.