UniControl: Un Modelo de Difusión Unificado para la Generación Visual Controlable en Entornos Naturales

UniControl: A Unified Diffusion Model for Controllable Visual Generation In the Wild

May 18, 2023

Autores: Can Qin, Shu Zhang, Ning Yu, Yihao Feng, Xinyi Yang, Yingbo Zhou, Huan Wang, Juan Carlos Niebles, Caiming Xiong, Silvio Savarese, Stefano Ermon, Yun Fu, Ran Xu

cs.AI

Resumen

Lograr la autonomía de las máquinas y el control humano suelen representar objetivos divergentes en el diseño de sistemas de IA interactivos. Los modelos generativos visuales de base, como Stable Diffusion, muestran potencial para abordar estas metas, especialmente cuando se les proporcionan instrucciones en lenguajes arbitrarios. Sin embargo, a menudo fallan en generar imágenes con controles espaciales, estructurales o geométricos. La integración de dichos controles, que pueden acomodar diversas condiciones visuales en un único modelo unificado, sigue siendo un desafío sin resolver. En respuesta, presentamos UniControl, un nuevo modelo generativo de base que consolida una amplia gama de tareas controlables de condición a imagen (C2I) dentro de un marco singular, permitiendo aún el uso de instrucciones lingüísticas arbitrarias. UniControl permite la generación de imágenes con precisión a nivel de píxel, donde las condiciones visuales influyen principalmente en las estructuras generadas y las instrucciones lingüísticas guían el estilo y el contexto. Para dotar a UniControl de la capacidad de manejar diversas condiciones visuales, mejoramos los modelos de difusión de texto a imagen preentrenados e introducimos un HyperNet consciente de la tarea para modular los modelos de difusión, permitiendo la adaptación a diferentes tareas C2I simultáneamente. Entrenado en nueve tareas C2I únicas, UniControl demuestra impresionantes habilidades de generación zero-shot con condiciones visuales no vistas. Los resultados experimentales muestran que UniControl a menudo supera el rendimiento de métodos controlados por una sola tarea con tamaños de modelo comparables. Esta versatilidad de control posiciona a UniControl como un avance significativo en el ámbito de la generación visual controlable.

English

Achieving machine autonomy and human control often represent divergent objectives in the design of interactive AI systems. Visual generative foundation models such as Stable Diffusion show promise in navigating these goals, especially when prompted with arbitrary languages. However, they often fall short in generating images with spatial, structural, or geometric controls. The integration of such controls, which can accommodate various visual conditions in a single unified model, remains an unaddressed challenge. In response, we introduce UniControl, a new generative foundation model that consolidates a wide array of controllable condition-to-image (C2I) tasks within a singular framework, while still allowing for arbitrary language prompts. UniControl enables pixel-level-precise image generation, where visual conditions primarily influence the generated structures and language prompts guide the style and context. To equip UniControl with the capacity to handle diverse visual conditions, we augment pretrained text-to-image diffusion models and introduce a task-aware HyperNet to modulate the diffusion models, enabling the adaptation to different C2I tasks simultaneously. Trained on nine unique C2I tasks, UniControl demonstrates impressive zero-shot generation abilities with unseen visual conditions. Experimental results show that UniControl often surpasses the performance of single-task-controlled methods of comparable model sizes. This control versatility positions UniControl as a significant advancement in the realm of controllable visual generation.