개념 슬라이더: 디퓨전 모델에서 정밀 제어를 위한 LoRA 어댑터

Concept Sliders: LoRA Adaptors for Precise Control in Diffusion Models

November 20, 2023

저자: Rohit Gandikota, Joanna Materzynska, Tingrui Zhou, Antonio Torralba, David Bau

cs.AI

초록

우리는 확산 모델(diffusion model)을 통해 생성된 이미지의 속성을 정밀하게 제어할 수 있는 해석 가능한 개념 슬라이더(concept slider)를 생성하는 방법을 제안합니다. 우리의 접근 방식은 하나의 개념에 해당하는 저차원 매개변수 방향을 식별하면서 다른 속성과의 간섭을 최소화합니다. 슬라이더는 소수의 프롬프트 또는 샘플 이미지를 사용하여 생성되므로, 텍스트 기반 또는 시각적 개념 모두에 대해 슬라이더 방향을 생성할 수 있습니다. 개념 슬라이더는 플러그 앤 플레이(plug-and-play) 방식으로 작동하며, 효율적으로 조합되고 연속적으로 조절될 수 있어 이미지 생성에 대한 정밀한 제어를 가능하게 합니다. 기존 편집 기술과 비교한 정량적 실험에서, 우리의 슬라이더는 더 강력한 목표 편집과 더 낮은 간섭을 보여줍니다. 우리는 날씨, 나이, 스타일, 표정 등의 슬라이더와 슬라이더 조합을 시연합니다. 또한, 슬라이더가 StyleGAN의 잠재 공간(latent space)을 전이하여 텍스트로 설명하기 어려운 시각적 개념을 직관적으로 편집할 수 있음을 보여줍니다. 또한, 우리의 방법이 Stable Diffusion XL의 지속적인 품질 문제, 예를 들어 객체 변형 수정과 왜곡된 손 고치기 등을 해결하는 데 도움을 줄 수 있음을 발견했습니다. 우리의 코드, 데이터, 훈련된 슬라이더는 https://sliders.baulab.info/에서 확인할 수 있습니다.

English

We present a method to create interpretable concept sliders that enable precise control over attributes in image generations from diffusion models. Our approach identifies a low-rank parameter direction corresponding to one concept while minimizing interference with other attributes. A slider is created using a small set of prompts or sample images; thus slider directions can be created for either textual or visual concepts. Concept Sliders are plug-and-play: they can be composed efficiently and continuously modulated, enabling precise control over image generation. In quantitative experiments comparing to previous editing techniques, our sliders exhibit stronger targeted edits with lower interference. We showcase sliders for weather, age, styles, and expressions, as well as slider compositions. We show how sliders can transfer latents from StyleGAN for intuitive editing of visual concepts for which textual description is difficult. We also find that our method can help address persistent quality issues in Stable Diffusion XL including repair of object deformations and fixing distorted hands. Our code, data, and trained sliders are available at https://sliders.baulab.info/