セマンティックブラウジング：画像生成における制御可能な多様性

要旨

現代のテキスト画像生成モデルは、視覚的忠実度とプロンプト遵守において優れている。しかし、この厳格な忠実さは多様性を犠牲にしており、生成サンプルは単一の視覚的解釈に収束しがちである。既存の多様性改善手法では、意味のあるデザイン選択ではなく偶発的な変動に駆動された出力が生成される。このことから、生成サンプルに構造を課すという多様性タスクの新たな変種が動機付けられる。我々は制御された多様性を実現する手法を導入し、セマンティックブラウジングを可能にする。これによりユーザーは構造化された画像ギャラリーをナビゲートし、意味があり解釈可能な変動軸を系統的に探索することで、創造的な探求を体験できる。このレベルの意味的制御を達成するには、シーンを深く理解する必要がある。我々は、最近のテキスト画像生成モデルが詳細なキャプションで学習されており、意味的な意思決定をピクセル生成から実質的に切り離しているという事実を活用する。これによりパラダイムシフトが可能となり、テキスト画像生成モデル内の確率的変動に依存する代わりに、テキストレベルで直接多様性を誘発する。豊かなテキスト表現を活用することで、ビジョン言語モデル（VLM）がシーン全体のコンテキストで動作できるようにする。標準的なVLMに典型的な汎用的出力を克服するために、我々は元のプロンプトに調和した構造化された変動を明示的に強制するエージェント型ワークフローを採用する。本手法は、多様でナビゲーション可能なデザイン空間を生成し、その空間内のすべての変動が、ユーザーが理解可能な特定の意味的な決定に対応することを実証する。

English

Modern text-to-image models excel in visual fidelity and prompt adherence. However, this strict adherence comes at the cost of diversity: generated samples tend to collapse into a single visual interpretation. Existing methods to improve diversity produce outputs driven by incidental variations rather than meaningful design choices. This motivates a new variant of the diversity task where structure is enforced on the generated samples. We introduce a method for controlled diversity that enables Semantic Browsing, where users can navigate structured image galleries and experience creative exploration through a systematic traversal of meaningful, interpretable axes of variation. Achieving this level of semantic control requires a deep understanding of the scene. We exploit the fact that recent text-to-image models are trained on elaborated captions, effectively decoupling semantic decision-making from pixel generation. This enables a paradigm shift: instead of relying on stochastic variation within the text-to-image model, we induce diversity directly at the text level. By leveraging rich textual representations, we allow a Vision Language Model (VLM) to operate on the full scene context. To overcome the generic outputs typical of standard VLMs, we employ an agentic workflow that explicitly enforces structured variation attuned to the original prompt. We demonstrate that our method produces diverse and navigable design spaces where every variation corresponds to a specific, user-understandable semantic decision.