InstanceControl : Génération contrôlable d'images complexes sans étiquetage d'instances

Résumé

Les méthodes de génération d'images contrôlables, telles que ControlNet, ont démontré une capacité remarquable à introduire des conditions visuelles (par exemple, des cartes de profondeur) pour guider la génération d'images. Cependant, ces méthodes rencontrent souvent des difficultés avec les scènes multi-instances complexes, conduisant fréquemment à une confusion des attributs entre les instances. Bien que des approches récentes tentent d'atténuer ce problème par un étiquetage manuel des instances, de telles exigences sont intensives en main-d'œuvre. Dans cet article, nous proposons InstanceControl, une nouvelle méthode de génération contrôlable multi-instances qui élimine le besoin d'étiquetage des instances. Nous identifions le principal goulot d'étranglement des méthodes existantes comme l'incapacité à associer précisément les descriptions d'instances à leurs régions correspondantes dans les conditions visuelles. Pour y remédier, nous exploitons le Modèle Vision-Langage (VLM) pour établir des correspondances au niveau des instances entre les prompts textuels et les conditions visuelles. Plus précisément, le VLM analyse automatiquement les descriptions d'instances à partir des prompts textuels et prédit simultanément des masques d'instances basés sur les conditions visuelles. De plus, étant donné que les masques prédits peuvent contenir du bruit, nous introduisons une stratégie adaptative de raffinement des masques qui affine dynamiquement ces masques d'instances pendant le processus de génération. Des expériences approfondies démontrent que notre approche surpasse les méthodes de pointe, obtenant une fidélité supérieure et un contrôle précis au niveau des instances.

English

Controllable image generation methods, such as ControlNet, have demonstrated a remarkable capacity to introduce visual conditions(e.g., depth maps) to guide image generation. However, these methods often struggle with complex multi-instance scenes, frequently leading to attribute confusion among instances. While recent approaches attempt to mitigate this via manual instance labeling, such requirements are labor-intensive. In this paper, we propose InstanceControl, a novel multi-instance controllable generation method that eliminates the need for instance labeling. We identify the primary bottleneck in existing methods as the inability to accurately associate instance descriptions with their corresponding regions within visual conditions. To address this, we leverage the Vision-Language Model (VLM) to establish instance-level correspondences between text prompts and visual conditions. Specifically, the VLM automatically parses instance descriptions from the text prompts and simultaneously predicts instance masks based on the visual conditions. Furthermore, since the predicted masks may contain noise, we introduce an adaptive mask refinement strategy that dynamically refines these instance masks during the generation process. Extensive experiments demonstrate that our approach outperforms state-of-the-art methods, achieving superior fidelity and precise instance-level control.