i1: Простой и полностью открытый рецепт для создания мощных моделей текст-в-изображение

Аннотация

Модели диффузии последовательно обеспечивали прогресс в генерации изображений по текстовому описанию. Однако сложно приписать недавние достижения конкретным моделированию и выбору данных: современные модели с открытыми весами предоставляют ограниченные абляции и не раскрывают свои обучающие данные и подробности обучения. Научному сообществу необходимы полностью открытые (веса, данные и код) модели в качестве основы для дальнейших исследований; однако существующие полностью открытые модели все еще значительно уступают ведущим моделям по производительности. В этом проекте мы проводим систематическое исследование выбора моделей и дизайна данных в обучении и инференсе диффузионных моделей для генерации изображений по тексту, проведя более 300 контролируемых экспериментов, суммарно потребовавших свыше 700 000 часов TPU v6e. Наши эксперименты выявляют несколько эмпирических результатов (например, равное взвешивание является хорошим выбором по умолчанию для смешивания курируемых наборов данных) и простых проектных решений (например, более крупные адаптеры текстового энкодера улучшают производительность с минимальным добавлением параметров) для обучения сильных моделей. Руководствуясь этими выводами, мы обучаем i1 — диффузионную модель генерации изображений по тексту с 3B параметров, используя только общедоступные наборы данных. i1 конкурентоспособна с ведущими моделями на пяти репрезентативных бенчмарках (GenEval, DPG, PRISM, CVTG-2K и LongText) и превосходит лучшую существующую полностью открытую модель в среднем на 29,5 абсолютных процентных пунктов. Мы предоставляем чекпоинты i1, код обучения и инференса, а также пайплайн обработки данных. В совокупности наши результаты и рецепт i1 создают практическую основу для будущих открытых исследований в области диффузионных моделей генерации изображений по тексту. Наш код доступен по адресу https://github.com/zlab-princeton/i1.

English

Diffusion models have consistently driven progress in text-to-image generation. However, it is challenging to attribute recent progress to specific modeling and data choices: state-of-the-art open-weight models provide limited ablations, and do not disclose their training data and full training details. The research community needs fully open (weights, data, and code) models as a foundation for further research; yet existing fully open models still fall significantly short of leading models in performance. In this project, we conduct a systematic investigation of the modeling and data design choices in text-to-image diffusion training and inference with 300+ controlled experiments totaling 700K+ TPU v6e hours. Our experiments highlight several empirical findings (e.g., equal weighting is a strong default for mixing curated datasets) and simple design decisions (e.g., larger text encoder adapters improve performance with minimal added parameters) for training strong models. Guided by these insights, we train i1, a 3B-parameter text-to-image diffusion model using only publicly available datasets. i1 is competitive with leading models on five representative benchmarks (GenEval, DPG, PRISM, CVTG-2K, and LongText), and outperforms the best existing fully open model by 29.5 absolute percentage points on average. We provide the i1 checkpoints, training and inference code, and the data processing pipeline. Together, our findings and the i1 recipe establish a practical foundation for future open research in text-to-image diffusion models. Our code is available at https://github.com/zlab-princeton/i1.