InstanceControl: 인스턴스 레이블링 없이 제어 가능한 복잡한 이미지 생성

초록

ControlNet과 같은 제어 가능한 이미지 생성 방법은 깊이 맵과 같은 시각적 조건을 도입하여 이미지 생성을 안내하는 놀라운 능력을 보여주었다. 그러나 이러한 방법들은 복잡한 다중 객체 장면에서 종종 어려움을 겪으며, 객체 간 속성 혼란을 자주 초래한다. 최근 접근법들은 수동 객체 라벨링을 통해 이를 완화하려고 시도하지만, 이러한 요구 사항은 노동 집약적이다. 본 논문에서는 객체 라벨링이 필요 없는 새로운 다중 객체 제어 가능 생성 방법인 InstanceControl을 제안한다. 우리는 기존 방법의 주요 병목 현상이 시각적 조건 내에서 객체 설명과 해당 영역을 정확하게 연관시키지 못하는 것임을 확인한다. 이를 해결하기 위해, 우리는 시각-언어 모델(VLM)을 활용하여 텍스트 프롬프트와 시각적 조건 간의 객체 수준 대응 관계를 설정한다. 구체적으로, VLM은 텍스트 프롬프트에서 객체 설명을 자동으로 파싱하고 동시에 시각적 조건에 기반하여 객체 마스크를 예측한다. 또한, 예측된 마스크에 노이즈가 포함될 수 있으므로, 생성 과정에서 이러한 객체 마스크를 동적으로 정제하는 적응형 마스크 개선 전략을 도입한다. 광범위한 실험을 통해 우리의 접근법이 최신 방법보다 우수한 성능을 보이며, 뛰어난 충실도와 정밀한 객체 수준 제어를 달성함을 입증한다.

English

Controllable image generation methods, such as ControlNet, have demonstrated a remarkable capacity to introduce visual conditions(e.g., depth maps) to guide image generation. However, these methods often struggle with complex multi-instance scenes, frequently leading to attribute confusion among instances. While recent approaches attempt to mitigate this via manual instance labeling, such requirements are labor-intensive. In this paper, we propose InstanceControl, a novel multi-instance controllable generation method that eliminates the need for instance labeling. We identify the primary bottleneck in existing methods as the inability to accurately associate instance descriptions with their corresponding regions within visual conditions. To address this, we leverage the Vision-Language Model (VLM) to establish instance-level correspondences between text prompts and visual conditions. Specifically, the VLM automatically parses instance descriptions from the text prompts and simultaneously predicts instance masks based on the visual conditions. Furthermore, since the predicted masks may contain noise, we introduce an adaptive mask refinement strategy that dynamically refines these instance masks during the generation process. Extensive experiments demonstrate that our approach outperforms state-of-the-art methods, achieving superior fidelity and precise instance-level control.