Bedingungsabhängiges neuronales Netzwerk für kontrollierte Bildgenerierung

Condition-Aware Neural Network for Controlled Image Generation

April 1, 2024

Autoren: Han Cai, Muyang Li, Zhuoyang Zhang, Qinsheng Zhang, Ming-Yu Liu, Song Han

cs.AI

Zusammenfassung

Wir stellen Condition-Aware Neural Network (CAN) vor, eine neue Methode zur Hinzufügung von Steuerung zu bildgenerierenden Modellen. Parallel zu bisherigen bedingten Steuerungsmethoden steuert CAN den Bildgenerierungsprozess, indem es dynamisch das Gewicht des neuronalen Netzwerks manipuliert. Dies wird durch die Einführung eines bedingungsabhängigen Gewichtsgenerierungsmoduls erreicht, das bedingte Gewichte für Faltungs-/lineare Schichten basierend auf der Eingangsbedingung generiert. Wir testen CAN für klassenbedingte Bildgenerierung auf ImageNet und Text-zu-Bild-Generierung auf COCO. CAN liefert konsistent signifikante Verbesserungen für Diffusionstransformator-Modelle, einschließlich DiT und UViT. Insbesondere erreicht CAN in Kombination mit EfficientViT (CaT) einen FID von 2,78 auf ImageNet 512x512 und übertrifft DiT-XL/2, wobei 52-mal weniger MACs pro Abtastschritt benötigt werden.

English

We present Condition-Aware Neural Network (CAN), a new method for adding control to image generative models. In parallel to prior conditional control methods, CAN controls the image generation process by dynamically manipulating the weight of the neural network. This is achieved by introducing a condition-aware weight generation module that generates conditional weight for convolution/linear layers based on the input condition. We test CAN on class-conditional image generation on ImageNet and text-to-image generation on COCO. CAN consistently delivers significant improvements for diffusion transformer models, including DiT and UViT. In particular, CAN combined with EfficientViT (CaT) achieves 2.78 FID on ImageNet 512x512, surpassing DiT-XL/2 while requiring 52x fewer MACs per sampling step.