확산 모델의 숨겨진 언어

초록

텍스트-이미지 확산 모델은 텍스트 개념(예: "의사", "사랑")에서 고품질의 다양한 이미지를 생성하는 전례 없는 능력을 보여주었습니다. 그러나 텍스트를 풍부한 시각적 표현으로 매핑하는 내부 과정은 여전히 수수께끼로 남아 있습니다. 본 연구에서는 입력 텍스트 프롬프트를 소수의 해석 가능한 요소로 분해함으로써 텍스트-이미지 모델에서의 개념 표현을 이해하는 과제에 도전합니다. 이는 모델의 어휘에서 추출한 토큰들의 희소 가중치 조합인 의사 토큰(pseudo-token)을 학습하여 주어진 개념에 대해 생성된 이미지를 재구성하는 방식으로 달성됩니다. 최첨단 Stable Diffusion 모델에 적용된 이 분해 방법은 개념 표현에서 비범하고 놀라운 구조를 드러냅니다. 예를 들어, "대통령"이나 "작곡가"와 같은 일부 개념은 특정 인스턴스(예: "오바마", "바이든")와 그들의 보간(interpolation)에 의해 지배되는 것으로 나타났습니다. 반면, "행복"과 같은 다른 개념은 구체적("가족", "웃음")이거나 추상적("우정", "감정")인 관련 용어들을 결합합니다. Stable Diffusion의 내부 작동을 들여다보는 것 외에도, 우리의 방법은 단일 이미지를 토큰으로 분해, 편향 탐지 및 완화, 의미론적 이미지 조작과 같은 응용을 가능하게 합니다. 우리의 코드는 https://hila-chefer.github.io/Conceptor/에서 공개될 예정입니다.

English

Text-to-image diffusion models have demonstrated an unparalleled ability to generate high-quality, diverse images from a textual concept (e.g., "a doctor", "love"). However, the internal process of mapping text to a rich visual representation remains an enigma. In this work, we tackle the challenge of understanding concept representations in text-to-image models by decomposing an input text prompt into a small set of interpretable elements. This is achieved by learning a pseudo-token that is a sparse weighted combination of tokens from the model's vocabulary, with the objective of reconstructing the images generated for the given concept. Applied over the state-of-the-art Stable Diffusion model, this decomposition reveals non-trivial and surprising structures in the representations of concepts. For example, we find that some concepts such as "a president" or "a composer" are dominated by specific instances (e.g., "Obama", "Biden") and their interpolations. Other concepts, such as "happiness" combine associated terms that can be concrete ("family", "laughter") or abstract ("friendship", "emotion"). In addition to peering into the inner workings of Stable Diffusion, our method also enables applications such as single-image decomposition to tokens, bias detection and mitigation, and semantic image manipulation. Our code will be available at: https://hila-chefer.github.io/Conceptor/

확산 모델의 숨겨진 언어

The Hidden Language of Diffusion Models

초록

Support