Condition-Aware Neuraal Netwerk voor Gecontroleerde Beeldgeneratie

Samenvatting

We presenteren Condition-Aware Neural Network (CAN), een nieuwe methode voor het toevoegen van controle aan beeldgeneratieve modellen. In lijn met eerdere conditionele controlemethoden, regelt CAN het beeldgeneratieproces door het gewicht van het neuraal netwerk dynamisch te manipuleren. Dit wordt bereikt door een condition-aware gewichtsgeneratiemodule te introduceren die conditionele gewichten genereert voor convolutie/lineaire lagen op basis van de invoervoorwaarde. We testen CAN op klasse-conditionele beeldgeneratie op ImageNet en tekst-naar-beeldgeneratie op COCO. CAN levert consistent significante verbeteringen voor diffusietransformermodellen, waaronder DiT en UViT. In het bijzonder behaalt CAN in combinatie met EfficientViT (CaT) een FID van 2,78 op ImageNet 512x512, wat DiT-XL/2 overtreft terwijl het 52x minder MACs per samplingstap vereist.

English

We present Condition-Aware Neural Network (CAN), a new method for adding control to image generative models. In parallel to prior conditional control methods, CAN controls the image generation process by dynamically manipulating the weight of the neural network. This is achieved by introducing a condition-aware weight generation module that generates conditional weight for convolution/linear layers based on the input condition. We test CAN on class-conditional image generation on ImageNet and text-to-image generation on COCO. CAN consistently delivers significant improvements for diffusion transformer models, including DiT and UViT. In particular, CAN combined with EfficientViT (CaT) achieves 2.78 FID on ImageNet 512x512, surpassing DiT-XL/2 while requiring 52x fewer MACs per sampling step.

Condition-Aware Neuraal Netwerk voor Gecontroleerde Beeldgeneratie

Condition-Aware Neural Network for Controlled Image Generation

Samenvatting

Support