InstanceControl: Kontrollierbare komplexe Bildgenerierung ohne Instanzkennzeichnung

Zusammenfassung

Kontrollierbare Bildgenerierungsmethoden wie ControlNet haben eine bemerkenswerte Fähigkeit gezeigt, visuelle Bedingungen (z. B. Tiefenkarten) zur Steuerung der Bildgenerierung einzuführen. Allerdings haben diese Methoden oft Schwierigkeiten mit komplexen Szenen mit mehreren Instanzen, was häufig zu Attributsverwechslungen zwischen den Instanzen führt. Während neuere Ansätze versuchen, dies durch manuelle Instanzkennzeichnung zu mildern, ist ein solcher Arbeitsaufwand sehr arbeitsintensiv. In dieser Arbeit schlagen wir InstanceControl vor, eine neuartige Methode zur kontrollierbaren Generierung mehrerer Instanzen, die keine Instanzkennzeichnung erfordert. Wir identifizieren den primären Engpass in bestehenden Methoden als die Unfähigkeit, Instanzbeschreibungen korrekt mit ihren entsprechenden Regionen in visuellen Bedingungen zu verknüpfen. Um dies zu adressieren, nutzen wir das Vision-Language-Modell (VLM), um instanzbezogene Korrespondenzen zwischen Textaufforderungen und visuellen Bedingungen herzustellen. Konkret parst das VLM automatisch Instanzbeschreibungen aus den Textaufforderungen und sagt gleichzeitig Instanzmasken basierend auf den visuellen Bedingungen vorher. Da die vorhergesagten Masken Rauschen enthalten können, führen wir eine adaptive Maskenverfeinerungsstrategie ein, die diese Instanzmasken während des Generierungsprozesses dynamisch verbessert. Umfangreiche Experimente zeigen, dass unser Ansatz modernste Methoden übertrifft und eine überlegene Bildtreue sowie präzise instanzbezogene Kontrolle erreicht.

English

Controllable image generation methods, such as ControlNet, have demonstrated a remarkable capacity to introduce visual conditions(e.g., depth maps) to guide image generation. However, these methods often struggle with complex multi-instance scenes, frequently leading to attribute confusion among instances. While recent approaches attempt to mitigate this via manual instance labeling, such requirements are labor-intensive. In this paper, we propose InstanceControl, a novel multi-instance controllable generation method that eliminates the need for instance labeling. We identify the primary bottleneck in existing methods as the inability to accurately associate instance descriptions with their corresponding regions within visual conditions. To address this, we leverage the Vision-Language Model (VLM) to establish instance-level correspondences between text prompts and visual conditions. Specifically, the VLM automatically parses instance descriptions from the text prompts and simultaneously predicts instance masks based on the visual conditions. Furthermore, since the predicted masks may contain noise, we introduce an adaptive mask refinement strategy that dynamically refines these instance masks during the generation process. Extensive experiments demonstrate that our approach outperforms state-of-the-art methods, achieving superior fidelity and precise instance-level control.