PALP: 텍스트-이미지 모델의 프롬프트 정렬 개인화

PALP: Prompt Aligned Personalization of Text-to-Image Models

January 11, 2024

저자: Moab Arar, Andrey Voynov, Amir Hertz, Omri Avrahami, Shlomi Fruchter, Yael Pritch, Daniel Cohen-Or, Ariel Shamir

cs.AI

초록

콘텐츠 제작자들은 종종 기존 텍스트-이미지 모델의 한계를 넘어서는 개인화된 주제를 사용하여 맞춤형 이미지를 만들고자 합니다. 또한, 결과 이미지가 특정 장소, 스타일, 분위기 등을 포함하길 원할 수 있습니다. 기존의 개인화 방법들은 개인화 능력이나 복잡한 텍스트 프롬프트와의 정렬을 저해할 수 있습니다. 이러한 절충은 사용자 프롬프트의 충족과 주제 충실도를 방해할 수 있습니다. 우리는 이러한 문제를 해결하기 위해 단일 프롬프트에 초점을 맞춘 새로운 개인화 방법을 제안합니다. 우리는 이 접근법을 프롬프트 정렬 개인화(prompt-aligned personalization)라고 명명합니다. 이 방법은 제한적으로 보일 수 있지만, 텍스트 정렬을 개선하여 현재 기술로는 도전적일 수 있는 복잡하고 정교한 프롬프트를 가진 이미지 생성에 탁월한 성과를 보입니다. 특히, 우리의 방법은 추가적인 점수 증류 샘플링(score distillation sampling) 항목을 사용하여 개인화된 모델이 목표 프롬프트와 정렬되도록 유지합니다. 우리는 이 방법의 다중 및 단일 샷 설정에서의 다양성을 입증하고, 여러 주제를 조합하거나 예술 작품과 같은 참조 이미지에서 영감을 얻을 수 있음을 추가로 보여줍니다. 우리는 제안한 접근법을 기존 베이스라인 및 최신 기술과 정량적 및 정성적으로 비교합니다.

English

Content creators often aim to create personalized images using personal subjects that go beyond the capabilities of conventional text-to-image models. Additionally, they may want the resulting image to encompass a specific location, style, ambiance, and more. Existing personalization methods may compromise personalization ability or the alignment to complex textual prompts. This trade-off can impede the fulfillment of user prompts and subject fidelity. We propose a new approach focusing on personalization methods for a single prompt to address this issue. We term our approach prompt-aligned personalization. While this may seem restrictive, our method excels in improving text alignment, enabling the creation of images with complex and intricate prompts, which may pose a challenge for current techniques. In particular, our method keeps the personalized model aligned with a target prompt using an additional score distillation sampling term. We demonstrate the versatility of our method in multi- and single-shot settings and further show that it can compose multiple subjects or use inspiration from reference images, such as artworks. We compare our approach quantitatively and qualitatively with existing baselines and state-of-the-art techniques.