UniControl: Um Modelo de Difusão Unificado para Geração Visual Controlável em Ambientes Reais

UniControl: A Unified Diffusion Model for Controllable Visual Generation In the Wild

May 18, 2023

Autores: Can Qin, Shu Zhang, Ning Yu, Yihao Feng, Xinyi Yang, Yingbo Zhou, Huan Wang, Juan Carlos Niebles, Caiming Xiong, Silvio Savarese, Stefano Ermon, Yun Fu, Ran Xu

cs.AI

Resumo

Alcançar autonomia da máquina e controle humano frequentemente representam objetivos divergentes no design de sistemas de IA interativos. Modelos generativos visuais de base, como o Stable Diffusion, mostram potencial para navegar essas metas, especialmente quando instruídos com linguagens arbitrárias. No entanto, eles frequentemente falham em gerar imagens com controles espaciais, estruturais ou geométricos. A integração de tais controles, que podem acomodar diversas condições visuais em um único modelo unificado, permanece um desafio não resolvido. Em resposta, apresentamos o UniControl, um novo modelo generativo de base que consolida uma ampla gama de tarefas controláveis de condição-para-imagem (C2I) em um único framework, enquanto ainda permite instruções de linguagem arbitrárias. O UniControl possibilita a geração de imagens com precisão em nível de pixel, onde as condições visuais influenciam principalmente as estruturas geradas e as instruções de linguagem guiam o estilo e o contexto. Para capacitar o UniControl a lidar com diversas condições visuais, aprimoramos modelos de difusão texto-para-imagem pré-treinados e introduzimos uma HyperNet consciente da tarefa para modular os modelos de difusão, permitindo a adaptação a diferentes tarefas C2I simultaneamente. Treinado em nove tarefas C2I únicas, o UniControl demonstra impressionantes habilidades de geração zero-shot com condições visuais não vistas. Resultados experimentais mostram que o UniControl frequentemente supera o desempenho de métodos controlados por tarefa única de tamanhos de modelo comparáveis. Essa versatilidade de controle posiciona o UniControl como um avanço significativo no domínio da geração visual controlável.

English

Achieving machine autonomy and human control often represent divergent objectives in the design of interactive AI systems. Visual generative foundation models such as Stable Diffusion show promise in navigating these goals, especially when prompted with arbitrary languages. However, they often fall short in generating images with spatial, structural, or geometric controls. The integration of such controls, which can accommodate various visual conditions in a single unified model, remains an unaddressed challenge. In response, we introduce UniControl, a new generative foundation model that consolidates a wide array of controllable condition-to-image (C2I) tasks within a singular framework, while still allowing for arbitrary language prompts. UniControl enables pixel-level-precise image generation, where visual conditions primarily influence the generated structures and language prompts guide the style and context. To equip UniControl with the capacity to handle diverse visual conditions, we augment pretrained text-to-image diffusion models and introduce a task-aware HyperNet to modulate the diffusion models, enabling the adaptation to different C2I tasks simultaneously. Trained on nine unique C2I tasks, UniControl demonstrates impressive zero-shot generation abilities with unseen visual conditions. Experimental results show that UniControl often surpasses the performance of single-task-controlled methods of comparable model sizes. This control versatility positions UniControl as a significant advancement in the realm of controllable visual generation.