조각을 모아라: IP-Priors를 활용한 부분 기반 개념화

Piece it Together: Part-Based Concepting with IP-Priors

March 13, 2025

저자: Elad Richardson, Kfir Goldberg, Yuval Alaluf, Daniel Cohen-Or

cs.AI

초록

고급 생성 모델은 이미지 합성에 뛰어나지만 주로 텍스트 기반 조건화에 의존합니다. 그러나 시각 디자이너들은 종종 언어를 넘어서 기존의 시각적 요소에서 직접 영감을 얻어 작업합니다. 많은 경우, 이러한 요소들은 잠재적인 개념의 일부만을 나타내며, 예를 들어 독특한 구조의 날개나 특정한 헤어스타일과 같은 요소들이 예술가에게 창의적으로 조합되어 일관된 전체를 형성할 수 있는 영감을 제공합니다. 이러한 필요를 인식하여, 우리는 사용자가 제공한 시각적 구성 요소의 일부를 원활하게 통합하면서도 그럴듯하고 완전한 개념을 생성하기 위해 필요한 누락된 부분을 동시에 샘플링하는 생성 프레임워크를 소개합니다. 우리의 접근 방식은 IP-Adapter+에서 추출된 강력하고 충분히 탐구되지 않은 표현 공간을 기반으로 하며, 이를 통해 도메인 특화된 사전 정보를 기반으로 일관된 구성을 합성하는 경량의 플로우 매칭 모델인 IP-Prior를 학습합니다. 이는 다양하고 문맥을 고려한 생성을 가능하게 합니다. 또한, 우리는 주어진 작업에서 IP-Adapter+의 프롬프트 준수도를 크게 향상시키는 LoRA 기반의 미세 조정 전략을 제시하며, 이는 재구성 품질과 프롬프트 준수도 사이의 일반적인 트레이드오프를 해결합니다.

English

Advanced generative models excel at synthesizing images but often rely on text-based conditioning. Visual designers, however, often work beyond language, directly drawing inspiration from existing visual elements. In many cases, these elements represent only fragments of a potential concept-such as an uniquely structured wing, or a specific hairstyle-serving as inspiration for the artist to explore how they can come together creatively into a coherent whole. Recognizing this need, we introduce a generative framework that seamlessly integrates a partial set of user-provided visual components into a coherent composition while simultaneously sampling the missing parts needed to generate a plausible and complete concept. Our approach builds on a strong and underexplored representation space, extracted from IP-Adapter+, on which we train IP-Prior, a lightweight flow-matching model that synthesizes coherent compositions based on domain-specific priors, enabling diverse and context-aware generations. Additionally, we present a LoRA-based fine-tuning strategy that significantly improves prompt adherence in IP-Adapter+ for a given task, addressing its common trade-off between reconstruction quality and prompt adherence.