Relatório Técnico do Kandinsky 3.0
Kandinsky 3.0 Technical Report
December 6, 2023
Autores: Vladimir Arkhipkin, Andrei Filatov, Viacheslav Vasilev, Anastasia Maltseva, Said Azizov, Igor Pavlov, Julia Agafonova, Andrey Kuznetsov, Denis Dimitrov
cs.AI
Resumo
Apresentamos o Kandinsky 3.0, um modelo de geração de imagens a partir de texto em larga escala baseado em difusão latente, dando continuidade à série de modelos Kandinsky de texto para imagem e refletindo nosso progresso para alcançar maior qualidade e realismo na geração de imagens. Em comparação com as versões anteriores do Kandinsky 2.x, o Kandinsky 3.0 utiliza uma arquitetura U-Net duas vezes maior, um codificador de texto dez vezes maior e elimina o mapeamento de difusão. Descrevemos a arquitetura do modelo, o procedimento de coleta de dados, a técnica de treinamento e o sistema de produção para interação do usuário. Focamos nos componentes-chave que, conforme identificamos como resultado de um grande número de experimentos, tiveram o impacto mais significativo na melhoria da qualidade do nosso modelo em comparação com os demais. Por meio de nossas comparações lado a lado, o Kandinsky se torna melhor na compreensão de texto e funciona melhor em domínios específicos. Página do projeto: https://ai-forever.github.io/Kandinsky-3
English
We present Kandinsky 3.0, a large-scale text-to-image generation model based
on latent diffusion, continuing the series of text-to-image Kandinsky models
and reflecting our progress to achieve higher quality and realism of image
generation. Compared to previous versions of Kandinsky 2.x, Kandinsky 3.0
leverages a two times larger U-Net backbone, a ten times larger text encoder
and removes diffusion mapping. We describe the architecture of the model, the
data collection procedure, the training technique, and the production system of
user interaction. We focus on the key components that, as we have identified as
a result of a large number of experiments, had the most significant impact on
improving the quality of our model compared to the others. By our side-by-side
comparisons, Kandinsky becomes better in text understanding and works better on
specific domains. Project page: https://ai-forever.github.io/Kandinsky-3