Нейронная сеть, учитывающая условия, для контролируемой генерации изображений

Condition-Aware Neural Network for Controlled Image Generation

April 1, 2024

Авторы: Han Cai, Muyang Li, Zhuoyang Zhang, Qinsheng Zhang, Ming-Yu Liu, Song Han

cs.AI

Аннотация

Мы представляем Condition-Aware Neural Network (CAN), новый метод добавления управления к моделям генерации изображений. По аналогии с предыдущими методами условного управления, CAN управляет процессом генерации изображений путем динамического изменения веса нейронной сети. Это достигается путем введения модуля генерации весов, осведомленного о состоянии, который генерирует условные веса для сверточных/линейных слоев на основе входного условия. Мы тестируем CAN на генерации изображений с условиями классов в ImageNet и генерации текста в изображение на COCO. CAN последовательно обеспечивает значительные улучшения для моделей диффузионного трансформера, включая DiT и UViT. В частности, CAN в сочетании с EfficientViT (CaT) достигает значения 2.78 FID на ImageNet 512x512, превосходя DiT-XL/2 и требуя в 52 раза меньше MACs на этап выборки.

English

We present Condition-Aware Neural Network (CAN), a new method for adding control to image generative models. In parallel to prior conditional control methods, CAN controls the image generation process by dynamically manipulating the weight of the neural network. This is achieved by introducing a condition-aware weight generation module that generates conditional weight for convolution/linear layers based on the input condition. We test CAN on class-conditional image generation on ImageNet and text-to-image generation on COCO. CAN consistently delivers significant improvements for diffusion transformer models, including DiT and UViT. In particular, CAN combined with EfficientViT (CaT) achieves 2.78 FID on ImageNet 512x512, surpassing DiT-XL/2 while requiring 52x fewer MACs per sampling step.