InstanceControl: Generación controlable de imágenes complejas sin etiquetado de instancias

Resumen

Los métodos de generación de imágenes controlables, como ControlNet, han demostrado una capacidad notable para introducir condiciones visuales (por ejemplo, mapas de profundidad) que guían la generación de imágenes. Sin embargo, estos métodos a menudo presentan dificultades con escenas complejas de múltiples instancias, lo que frecuentemente conduce a confusión de atributos entre las instancias. Si bien enfoques recientes intentan mitigar esto mediante el etiquetado manual de instancias, dicho requisito es laborioso. En este artículo, proponemos InstanceControl, un método novedoso de generación controlable multi-instancia que elimina la necesidad de etiquetado de instancias. Identificamos que el principal cuello de botella en los métodos existentes es la incapacidad de asociar con precisión las descripciones de las instancias con sus regiones correspondientes dentro de las condiciones visuales. Para abordar esto, aprovechamos el Modelo de Visión y Lenguaje (VLM) para establecer correspondencias a nivel de instancia entre las indicaciones de texto y las condiciones visuales. Específicamente, el VLM analiza automáticamente las descripciones de las instancias a partir de las indicaciones de texto y, simultáneamente, predice las máscaras de instancia basándose en las condiciones visuales. Además, dado que las máscaras predichas pueden contener ruido, introducimos una estrategia de refinamiento adaptativo de máscaras que refina dinámicamente estas máscaras de instancia durante el proceso de generación. Experimentos exhaustivos demuestran que nuestro enfoque supera a los métodos de última generación, logrando una fidelidad superior y un control preciso a nivel de instancia.

English

Controllable image generation methods, such as ControlNet, have demonstrated a remarkable capacity to introduce visual conditions(e.g., depth maps) to guide image generation. However, these methods often struggle with complex multi-instance scenes, frequently leading to attribute confusion among instances. While recent approaches attempt to mitigate this via manual instance labeling, such requirements are labor-intensive. In this paper, we propose InstanceControl, a novel multi-instance controllable generation method that eliminates the need for instance labeling. We identify the primary bottleneck in existing methods as the inability to accurately associate instance descriptions with their corresponding regions within visual conditions. To address this, we leverage the Vision-Language Model (VLM) to establish instance-level correspondences between text prompts and visual conditions. Specifically, the VLM automatically parses instance descriptions from the text prompts and simultaneously predicts instance masks based on the visual conditions. Furthermore, since the predicted masks may contain noise, we introduce an adaptive mask refinement strategy that dynamically refines these instance masks during the generation process. Extensive experiments demonstrate that our approach outperforms state-of-the-art methods, achieving superior fidelity and precise instance-level control.