Kandinsky 3.0 Technischer Bericht
Kandinsky 3.0 Technical Report
December 6, 2023
Autoren: Vladimir Arkhipkin, Andrei Filatov, Viacheslav Vasilev, Anastasia Maltseva, Said Azizov, Igor Pavlov, Julia Agafonova, Andrey Kuznetsov, Denis Dimitrov
cs.AI
Zusammenfassung
Wir präsentieren Kandinsky 3.0, ein großskaliges Text-zu-Bild-Generierungsmodell, das auf latenter Diffusion basiert und die Reihe der Kandinsky-Modelle für die Text-zu-Bild-Generierung fortsetzt. Dieses Modell spiegelt unsere Fortschritte wider, um eine höhere Qualität und Realismus in der Bildgenerierung zu erreichen. Im Vergleich zu den vorherigen Versionen Kandinsky 2.x nutzt Kandinsky 3.0 eine doppelt so große U-Net-Architektur, einen zehnmal größeren Text-Encoder und verzichtet auf die Diffusion-Mapping-Technik. Wir beschreiben die Architektur des Modells, das Verfahren zur Datensammlung, die Trainingsmethode sowie das Produktionssystem für die Benutzerinteraktion. Unser Fokus liegt auf den Schlüsselkomponenten, die, wie wir durch eine Vielzahl von Experimenten festgestellt haben, den größten Einfluss auf die Verbesserung der Qualität unseres Modells im Vergleich zu anderen hatten. Durch unsere direkten Vergleiche zeigt sich, dass Kandinsky in der Textverständnisleistung besser geworden ist und in spezifischen Domänen effektiver arbeitet. Projektseite: https://ai-forever.github.io/Kandinsky-3
English
We present Kandinsky 3.0, a large-scale text-to-image generation model based
on latent diffusion, continuing the series of text-to-image Kandinsky models
and reflecting our progress to achieve higher quality and realism of image
generation. Compared to previous versions of Kandinsky 2.x, Kandinsky 3.0
leverages a two times larger U-Net backbone, a ten times larger text encoder
and removes diffusion mapping. We describe the architecture of the model, the
data collection procedure, the training technique, and the production system of
user interaction. We focus on the key components that, as we have identified as
a result of a large number of experiments, had the most significant impact on
improving the quality of our model compared to the others. By our side-by-side
comparisons, Kandinsky becomes better in text understanding and works better on
specific domains. Project page: https://ai-forever.github.io/Kandinsky-3