Rete Neurionale Consapevole delle Condizioni per la Generazione Controllata di Immagini

Condition-Aware Neural Network for Controlled Image Generation

April 1, 2024

Autori: Han Cai, Muyang Li, Zhuoyang Zhang, Qinsheng Zhang, Ming-Yu Liu, Song Han

cs.AI

Abstract

Presentiamo Condition-Aware Neural Network (CAN), un nuovo metodo per aggiungere controllo ai modelli generativi di immagini. In parallelo ai precedenti metodi di controllo condizionale, CAN controlla il processo di generazione delle immagini manipolando dinamicamente i pesi della rete neurale. Questo è ottenuto introducendo un modulo di generazione dei pesi condizionale che genera pesi condizionali per i livelli convoluzionali/lineari in base alla condizione di input. Testiamo CAN sulla generazione di immagini condizionate per classe su ImageNet e sulla generazione di immagini da testo su COCO. CAN fornisce costantemente miglioramenti significativi per i modelli di trasformatori di diffusione, inclusi DiT e UViT. In particolare, CAN combinato con EfficientViT (CaT) raggiunge un FID di 2.78 su ImageNet 512x512, superando DiT-XL/2 mentre richiede 52x meno MACs per passo di campionamento.

English

We present Condition-Aware Neural Network (CAN), a new method for adding control to image generative models. In parallel to prior conditional control methods, CAN controls the image generation process by dynamically manipulating the weight of the neural network. This is achieved by introducing a condition-aware weight generation module that generates conditional weight for convolution/linear layers based on the input condition. We test CAN on class-conditional image generation on ImageNet and text-to-image generation on COCO. CAN consistently delivers significant improvements for diffusion transformer models, including DiT and UViT. In particular, CAN combined with EfficientViT (CaT) achieves 2.78 FID on ImageNet 512x512, surpassing DiT-XL/2 while requiring 52x fewer MACs per sampling step.