Технический отчет Kandinsky 3.0
Kandinsky 3.0 Technical Report
December 6, 2023
Авторы: Vladimir Arkhipkin, Andrei Filatov, Viacheslav Vasilev, Anastasia Maltseva, Said Azizov, Igor Pavlov, Julia Agafonova, Andrey Kuznetsov, Denis Dimitrov
cs.AI
Аннотация
Мы представляем Kandinsky 3.0 — крупномасштабную модель генерации изображений из текста, основанную на латентной диффузии, продолжающую серию моделей Kandinsky для преобразования текста в изображения и отражающую наш прогресс в достижении более высокого качества и реалистичности генерации изображений. По сравнению с предыдущими версиями Kandinsky 2.x, Kandinsky 3.0 использует U-Net архитектуру, увеличенную в два раза, текстовый энкодер, увеличенный в десять раз, и исключает этап диффузионного маппинга. Мы описываем архитектуру модели, процедуру сбора данных, методику обучения и систему взаимодействия с пользователем. Основное внимание уделено ключевым компонентам, которые, как мы выяснили в результате многочисленных экспериментов, оказали наиболее значительное влияние на улучшение качества нашей модели по сравнению с другими. Наши сравнительные тесты показывают, что Kandinsky лучше понимает текст и эффективнее работает в специфических областях. Страница проекта: https://ai-forever.github.io/Kandinsky-3
English
We present Kandinsky 3.0, a large-scale text-to-image generation model based
on latent diffusion, continuing the series of text-to-image Kandinsky models
and reflecting our progress to achieve higher quality and realism of image
generation. Compared to previous versions of Kandinsky 2.x, Kandinsky 3.0
leverages a two times larger U-Net backbone, a ten times larger text encoder
and removes diffusion mapping. We describe the architecture of the model, the
data collection procedure, the training technique, and the production system of
user interaction. We focus on the key components that, as we have identified as
a result of a large number of experiments, had the most significant impact on
improving the quality of our model compared to the others. By our side-by-side
comparisons, Kandinsky becomes better in text understanding and works better on
specific domains. Project page: https://ai-forever.github.io/Kandinsky-3