InstanceControl: インスタンスラベリングを必要としない制御可能な複雑な画像生成

要旨

ControlNetなどの制御可能な画像生成手法は、深度マップなどの視覚的条件を導入して画像生成を誘導する顕著な能力を示してきた。しかし、これらの手法は複雑なマルチインスタンスシーンにおいてしばしば困難に直面し、インスタンス間の属性の混同を引き起こす。近年のアプローチでは、手動によるインスタンスラベリングによってこれを緩和しようと試みているが、そのような要件は労力を要する。本論文では、インスタンスラベリングを不要とする新たなマルチインスタンス制御可能生成手法であるInstanceControlを提案する。既存手法における主要なボトルネックは、テキストプロンプト内のインスタンス記述を、視覚的条件内の対応する領域に正確に関連付けることができない点にあると特定した。この課題に対処するため、視覚言語モデル（VLM）を活用し、テキストプロンプトと視覚的条件の間でインスタンスレベルの対応関係を確立する。具体的には、VLMがテキストプロンプトからインスタンス記述を自動的に解析し、同時に視覚的条件に基づいてインスタンスマスクを予測する。さらに、予測されたマスクにはノイズが含まれる可能性があるため、生成過程においてこれらのインスタンスマスクを動的に精緻化する適応的マスク洗練戦略を導入する。広範な実験により、本手法が最先端の手法を凌駕し、優れた忠実度と正確なインスタンスレベルの制御を達成することを実証する。

English

Controllable image generation methods, such as ControlNet, have demonstrated a remarkable capacity to introduce visual conditions(e.g., depth maps) to guide image generation. However, these methods often struggle with complex multi-instance scenes, frequently leading to attribute confusion among instances. While recent approaches attempt to mitigate this via manual instance labeling, such requirements are labor-intensive. In this paper, we propose InstanceControl, a novel multi-instance controllable generation method that eliminates the need for instance labeling. We identify the primary bottleneck in existing methods as the inability to accurately associate instance descriptions with their corresponding regions within visual conditions. To address this, we leverage the Vision-Language Model (VLM) to establish instance-level correspondences between text prompts and visual conditions. Specifically, the VLM automatically parses instance descriptions from the text prompts and simultaneously predicts instance masks based on the visual conditions. Furthermore, since the predicted masks may contain noise, we introduce an adaptive mask refinement strategy that dynamically refines these instance masks during the generation process. Extensive experiments demonstrate that our approach outperforms state-of-the-art methods, achieving superior fidelity and precise instance-level control.