X-Adapter: 업그레이드된 확산 모델을 위한 플러그인의 범용 호환성 추가

초록

본 논문에서는 사전 학습된 플러그 앤 플레이 모듈(예: ControlNet, LoRA)이 추가 재학습 없이도 업그레이드된 텍스트-이미지 확산 모델(예: SDXL)과 직접 호환될 수 있도록 하는 범용 업그레이더인 X-Adapter를 소개한다. 이를 위해, 새로운 텍스트-이미지 데이터 쌍을 사용하여 업그레이드된 모델을 제어할 수 있는 추가 네트워크를 학습시켰다. 구체적으로, X-Adapter는 다양한 플러그인의 연결자를 보존하기 위해 이전 모델의 고정된 복사본을 유지한다. 또한, X-Adapter는 서로 다른 버전의 모델 간 디코더를 연결하여 특징 재매핑을 수행하는 학습 가능한 매핑 레이어를 추가한다. 재매핑된 특징은 업그레이드된 모델에 대한 가이드로 사용된다. X-Adapter의 가이드 능력을 강화하기 위해, 업그레이드된 모델에 대해 널-텍스트(null-text) 학습 전략을 적용하였다. 학습 후에는 X-Adapter와 업그레이드된 모델의 초기 잠재 변수를 정렬하기 위해 두 단계의 노이즈 제거 전략을 도입하였다. 이러한 전략 덕분에 X-Adapter는 다양한 플러그인과의 범용 호환성을 보여주며, 서로 다른 버전의 플러그인이 함께 작동할 수 있도록 하여 확산 모델 커뮤니티의 기능을 확장한다. 제안된 방법의 효과를 검증하기 위해 광범위한 실험을 수행하였으며, 그 결과 X-Adapter가 업그레이드된 기초 확산 모델에서 더 넓은 적용 가능성을 제공할 수 있음을 확인하였다.

English

We introduce X-Adapter, a universal upgrader to enable the pretrained plug-and-play modules (e.g., ControlNet, LoRA) to work directly with the upgraded text-to-image diffusion model (e.g., SDXL) without further retraining. We achieve this goal by training an additional network to control the frozen upgraded model with the new text-image data pairs. In detail, X-Adapter keeps a frozen copy of the old model to preserve the connectors of different plugins. Additionally, X-Adapter adds trainable mapping layers that bridge the decoders from models of different versions for feature remapping. The remapped features will be used as guidance for the upgraded model. To enhance the guidance ability of X-Adapter, we employ a null-text training strategy for the upgraded model. After training, we also introduce a two-stage denoising strategy to align the initial latents of X-Adapter and the upgraded model. Thanks to our strategies, X-Adapter demonstrates universal compatibility with various plugins and also enables plugins of different versions to work together, thereby expanding the functionalities of diffusion community. To verify the effectiveness of the proposed method, we conduct extensive experiments and the results show that X-Adapter may facilitate wider application in the upgraded foundational diffusion model.

X-Adapter: 업그레이드된 확산 모델을 위한 플러그인의 범용 호환성 추가

X-Adapter: Adding Universal Compatibility of Plugins for Upgraded Diffusion Model

초록

Support