HD-Painter: 고해상도 및 프롬프트 충실도를 갖춘 텍스트 기반 이미지 인페인팅을 위한 확산 모델
HD-Painter: High-Resolution and Prompt-Faithful Text-Guided Image Inpainting with Diffusion Models
December 21, 2023
저자: Hayk Manukyan, Andranik Sargsyan, Barsegh Atanyan, Zhangyang Wang, Shant Navasardyan, Humphrey Shi
cs.AI
초록
텍스트-이미지 확산 모델의 전례 없는 성공을 기반으로 한 텍스트 기반 이미지 인페인팅의 최근 발전은 매우 사실적이고 시각적으로 그럴듯한 결과를 이끌어냈습니다. 그러나 현재의 텍스트-이미지 인페인팅 모델은 여전히 개선의 여지가 많으며, 특히 인페인팅된 영역을 사용자 프롬프트와 더 잘 맞추고 고해상도 인페인팅을 수행하는 데 있어서 더 나은 성과를 보여줄 필요가 있습니다. 따라서 본 논문에서는 프롬프트를 정확히 따르고 고해상도 이미지 인페인팅으로 원활하게 확장할 수 있는 완전히 학습이 필요 없는 접근 방식인 HD-Painter를 소개합니다. 이를 위해, 프롬프트 정보를 통해 자기 주의 점수를 향상시키고 더 나은 텍스트 정렬 생성을 이끌어내는 프롬프트 인식 내향적 주의(PAIntA) 계층을 설계했습니다. 프롬프트 일관성을 더욱 개선하기 위해, 일반적인 DDIM 형태에 사후 샘플링 전략을 원활하게 통합하여 분포 외 잠재적 변화를 방지하는 재가중 주의 점수 안내(RASG) 메커니즘을 도입했습니다. 또한, HD-Painter는 인페인팅에 맞춤화된 특수한 초해상도 기술을 도입하여 최대 2K 해상도의 이미지에서 누락된 영역을 완성할 수 있도록 확장성을 제공합니다. 우리의 실험 결과, HD-Painter는 기존의 최첨단 접근 방식을 질적 및 양적으로 능가하며, 51.9% 대비 61.4%라는 인상적인 생성 정확도 향상을 달성했습니다. 코드는 https://github.com/Picsart-AI-Research/HD-Painter에서 공개될 예정입니다.
English
Recent progress in text-guided image inpainting, based on the unprecedented
success of text-to-image diffusion models, has led to exceptionally realistic
and visually plausible results. However, there is still significant potential
for improvement in current text-to-image inpainting models, particularly in
better aligning the inpainted area with user prompts and performing
high-resolution inpainting. Therefore, in this paper we introduce HD-Painter, a
completely training-free approach that accurately follows to prompts and
coherently scales to high-resolution image inpainting. To this end, we design
the Prompt-Aware Introverted Attention (PAIntA) layer enhancing self-attention
scores by prompt information and resulting in better text alignment
generations. To further improve the prompt coherence we introduce the
Reweighting Attention Score Guidance (RASG) mechanism seamlessly integrating a
post-hoc sampling strategy into general form of DDIM to prevent
out-of-distribution latent shifts. Moreover, HD-Painter allows extension to
larger scales by introducing a specialized super-resolution technique
customized for inpainting, enabling the completion of missing regions in images
of up to 2K resolution. Our experiments demonstrate that HD-Painter surpasses
existing state-of-the-art approaches qualitatively and quantitatively,
achieving an impressive generation accuracy improvement of 61.4% vs 51.9%. We
will make the codes publicly available at:
https://github.com/Picsart-AI-Research/HD-Painter