ConceptLab: 확산 사전 제약을 활용한 창의적 생성

초록

최근 텍스트-이미지 생성 모델의 발전으로 우리는 단어를 생동감 있고 매혹적인 이미지로 변환할 수 있게 되었습니다. 이어지는 개인화 기술의 급증은 또한 새로운 장면에서 독특한 개념을 상상할 수 있게 해주었습니다. 그러나 흥미로운 질문이 남아 있습니다: 어떻게 이전에 본 적 없는 새로운 상상의 개념을 생성할 수 있을까요? 본 논문에서는 광범위한 범주의 새로운 구성원을 생성하는(예: 기존의 모든 애완동물과 다른 애완동물 생성) 창의적 텍스트-이미지 생성 작업을 제시합니다. 우리는 잘 연구되지 않은 Diffusion Prior 모델을 활용하고, 창의적 생성 문제를 Diffusion Prior의 출력 공간에 대한 최적화 과정으로 공식화하여 "사전 제약 조건" 집합을 도출할 수 있음을 보여줍니다. 생성된 개념이 기존 구성원으로 수렴하는 것을 방지하기 위해, 우리는 질의-응답 모델을 통합하여 최적화 문제에 새로운 제약 조건을 적응적으로 추가함으로써 모델이 점점 더 독창적인 창작물을 발견하도록 장려합니다. 마지막으로, 우리의 사전 제약 조건이 생성된 개념 간의 하이브리드를 생성할 수 있는 강력한 혼합 메커니즘으로도 작용하여 창의적 과정에 더 많은 유연성을 도입할 수 있음을 보여줍니다.

English

Recent text-to-image generative models have enabled us to transform our words into vibrant, captivating imagery. The surge of personalization techniques that has followed has also allowed us to imagine unique concepts in new scenes. However, an intriguing question remains: How can we generate a new, imaginary concept that has never been seen before? In this paper, we present the task of creative text-to-image generation, where we seek to generate new members of a broad category (e.g., generating a pet that differs from all existing pets). We leverage the under-studied Diffusion Prior models and show that the creative generation problem can be formulated as an optimization process over the output space of the diffusion prior, resulting in a set of "prior constraints". To keep our generated concept from converging into existing members, we incorporate a question-answering model that adaptively adds new constraints to the optimization problem, encouraging the model to discover increasingly more unique creations. Finally, we show that our prior constraints can also serve as a strong mixing mechanism allowing us to create hybrids between generated concepts, introducing even more flexibility into the creative process.

ConceptLab: 확산 사전 제약을 활용한 창의적 생성

ConceptLab: Creative Generation using Diffusion Prior Constraints

초록

Support