UniControl : Un modèle de diffusion unifié pour la génération visuelle contrôlée en conditions réelles

UniControl: A Unified Diffusion Model for Controllable Visual Generation In the Wild

May 18, 2023

Auteurs: Can Qin, Shu Zhang, Ning Yu, Yihao Feng, Xinyi Yang, Yingbo Zhou, Huan Wang, Juan Carlos Niebles, Caiming Xiong, Silvio Savarese, Stefano Ermon, Yun Fu, Ran Xu

cs.AI

Résumé

Atteindre l'autonomie des machines et le contrôle humain représentent souvent des objectifs divergents dans la conception des systèmes d'IA interactifs. Les modèles génératifs visuels de base tels que Stable Diffusion montrent un potentiel pour naviguer entre ces objectifs, en particulier lorsqu'ils sont sollicités avec des langages arbitraires. Cependant, ils échouent souvent à générer des images avec des contrôles spatiaux, structurels ou géométriques. L'intégration de tels contrôles, capables d'accommoder diverses conditions visuelles dans un modèle unifié, reste un défi non résolu. En réponse, nous présentons UniControl, un nouveau modèle génératif de base qui consolide une large gamme de tâches contrôlées de condition à image (C2I) dans un cadre unique, tout en permettant des sollicitations linguistiques arbitraires. UniControl permet une génération d'images précise au niveau des pixels, où les conditions visuelles influencent principalement les structures générées et les sollicitations linguistiques guident le style et le contexte. Pour doter UniControl de la capacité à gérer diverses conditions visuelles, nous enrichissons les modèles de diffusion pré-entraînés de texte à image et introduisons un HyperNet conscient des tâches pour moduler les modèles de diffusion, permettant l'adaptation à différentes tâches C2I simultanément. Entraîné sur neuf tâches C2I uniques, UniControl démontre des capacités impressionnantes de génération zero-shot avec des conditions visuelles inédites. Les résultats expérimentaux montrent qu'UniControl surpasse souvent les performances des méthodes contrôlées par une seule tâche de tailles de modèles comparables. Cette polyvalence de contrôle positionne UniControl comme une avancée significative dans le domaine de la génération visuelle contrôlée.

English

Achieving machine autonomy and human control often represent divergent objectives in the design of interactive AI systems. Visual generative foundation models such as Stable Diffusion show promise in navigating these goals, especially when prompted with arbitrary languages. However, they often fall short in generating images with spatial, structural, or geometric controls. The integration of such controls, which can accommodate various visual conditions in a single unified model, remains an unaddressed challenge. In response, we introduce UniControl, a new generative foundation model that consolidates a wide array of controllable condition-to-image (C2I) tasks within a singular framework, while still allowing for arbitrary language prompts. UniControl enables pixel-level-precise image generation, where visual conditions primarily influence the generated structures and language prompts guide the style and context. To equip UniControl with the capacity to handle diverse visual conditions, we augment pretrained text-to-image diffusion models and introduce a task-aware HyperNet to modulate the diffusion models, enabling the adaptation to different C2I tasks simultaneously. Trained on nine unique C2I tasks, UniControl demonstrates impressive zero-shot generation abilities with unseen visual conditions. Experimental results show that UniControl often surpasses the performance of single-task-controlled methods of comparable model sizes. This control versatility positions UniControl as a significant advancement in the realm of controllable visual generation.