의미적 탐색: 이미지 생성을 위한 제어 가능한 다양성

초록

최신 텍스트-이미지 모델은 시각적 충실도와 프롬프트 준수 측면에서 뛰어난 성능을 보인다. 그러나 이러한 엄격한 준수는 다양성을 희생하는 대가를 치른다. 즉, 생성된 샘플이 단일 시각적 해석으로 수렴하는 경향이 있다. 기존의 다양성 개선 방법은 의미 있는 설계 선택보다는 우연한 변이에 의해 결정되는 출력을 생성한다. 이는 생성된 샘플에 구조를 부여하는 새로운 형태의 다양성 과제의 필요성을 제기한다. 본 논문에서는 사용자가 구조화된 이미지 갤러리를 탐색하고 의미 있고 해석 가능한 변이 축을 따라 체계적으로 이동하며 창의적 탐구를 경험할 수 있는 '의미 기반 탐색(Semantic Browsing)'을 가능하게 하는 제어된 다양성 방법을 소개한다. 이러한 수준의 의미적 제어를 달성하려면 장면에 대한 깊은 이해가 필요하다. 우리는 최근 텍스트-이미지 모델이 정교한 캡션으로 훈련되어 의미 결정 과정을 픽셀 생성으로부터 효과적으로 분리한다는 사실을 활용한다. 이는 패러다임 전환을 가능하게 한다. 즉, 텍스트-이미지 모델 내의 확률적 변이에 의존하는 대신 텍스트 수준에서 직접 다양성을 유도하는 것이다. 풍부한 텍스트 표현을 활용함으로써 비전-언어 모델(VLM)이 전체 장면 맥락에서 작동할 수 있도록 한다. 표준 VLM의 전형적인 일반적 출력 문제를 극복하기 위해, 원래 프롬프트에 부합하는 구조화된 변이를 명시적으로 강제하는 에이전트 기반 워크플로우(agentic workflow)를 사용한다. 우리는 제안된 방법이 다양하고 탐색 가능한 설계 공간을 생성하며, 모든 변이가 사용자가 이해할 수 있는 특정 의미적 결정에 해당함을 입증한다.

English

Modern text-to-image models excel in visual fidelity and prompt adherence. However, this strict adherence comes at the cost of diversity: generated samples tend to collapse into a single visual interpretation. Existing methods to improve diversity produce outputs driven by incidental variations rather than meaningful design choices. This motivates a new variant of the diversity task where structure is enforced on the generated samples. We introduce a method for controlled diversity that enables Semantic Browsing, where users can navigate structured image galleries and experience creative exploration through a systematic traversal of meaningful, interpretable axes of variation. Achieving this level of semantic control requires a deep understanding of the scene. We exploit the fact that recent text-to-image models are trained on elaborated captions, effectively decoupling semantic decision-making from pixel generation. This enables a paradigm shift: instead of relying on stochastic variation within the text-to-image model, we induce diversity directly at the text level. By leveraging rich textual representations, we allow a Vision Language Model (VLM) to operate on the full scene context. To overcome the generic outputs typical of standard VLMs, we employ an agentic workflow that explicitly enforces structured variation attuned to the original prompt. We demonstrate that our method produces diverse and navigable design spaces where every variation corresponds to a specific, user-understandable semantic decision.