InstanceControl: управляемая генерация сложных изображений без маркировки экземпляров

Аннотация

Методы контролируемой генерации изображений, такие как ControlNet, продемонстрировали замечательную способность вводить визуальные условия (например, карты глубины) для направления процесса генерации изображений. Однако эти методы часто испытывают трудности со сложными сценами, содержащими множество объектов, что нередко приводит к путанице атрибутов между ними. Хотя недавние подходы пытаются смягчить эту проблему с помощью ручной разметки объектов, такие требования являются трудоёмкими. В данной работе мы предлагаем InstanceControl — новый метод контролируемой генерации с множеством объектов, который устраняет необходимость в разметке объектов. Мы выявляем, что основное узкое место существующих методов заключается в неспособности точно сопоставить описания объектов с соответствующими областями в визуальных условиях. Для решения этой задачи мы используем визуально-языковую модель (VLM) для установления соответствий на уровне объектов между текстовыми подсказками и визуальными условиями. В частности, VLM автоматически извлекает описания объектов из текстовых подсказок и одновременно предсказывает маски объектов на основе визуальных условий. Кроме того, поскольку предсказанные маски могут содержать шум, мы вводим адаптивную стратегию уточнения масок, которая динамически корректирует эти маски объектов в процессе генерации. Обширные эксперименты показывают, что наш подход превосходит современные методы, достигая высокой точности воспроизведения и точного управления на уровне объектов.

English

Controllable image generation methods, such as ControlNet, have demonstrated a remarkable capacity to introduce visual conditions(e.g., depth maps) to guide image generation. However, these methods often struggle with complex multi-instance scenes, frequently leading to attribute confusion among instances. While recent approaches attempt to mitigate this via manual instance labeling, such requirements are labor-intensive. In this paper, we propose InstanceControl, a novel multi-instance controllable generation method that eliminates the need for instance labeling. We identify the primary bottleneck in existing methods as the inability to accurately associate instance descriptions with their corresponding regions within visual conditions. To address this, we leverage the Vision-Language Model (VLM) to establish instance-level correspondences between text prompts and visual conditions. Specifically, the VLM automatically parses instance descriptions from the text prompts and simultaneously predicts instance masks based on the visual conditions. Furthermore, since the predicted masks may contain noise, we introduce an adaptive mask refinement strategy that dynamically refines these instance masks during the generation process. Extensive experiments demonstrate that our approach outperforms state-of-the-art methods, achieving superior fidelity and precise instance-level control.