HiFlow: 플로우 정렬 가이던스를 활용한 학습 없이 고해상도 이미지 생성

초록

텍스트-이미지(T2I) 확산/플로우 모델은 유연한 시각적 창작물을 제공하는 놀라운 능력으로 인해 최근 상당한 주목을 받고 있습니다. 그러나 고해상도 이미지 합성은 고해상도 콘텐츠의 부족과 복잡성으로 인해 상당한 도전 과제로 남아 있습니다. 이를 위해, 우리는 사전 학습된 플로우 모델의 해상도 잠재력을 해제할 수 있는 학습이 필요 없고 모델에 구애받지 않는 프레임워크인 HiFlow를 제안합니다. 구체적으로, HiFlow는 고해상도 공간 내에서 가상 참조 플로우를 설정하여 저해상도 플로우 정보의 특성을 효과적으로 포착하고, 저주파 일관성을 위한 초기화 정렬, 구조 보존을 위한 방향 정렬, 디테일 충실도를 위한 가속 정렬이라는 세 가지 핵심 측면을 통해 고해상도 생성을 안내합니다. 이 플로우 정렬된 안내를 활용함으로써, HiFlow는 T2I 모델의 고해상도 이미지 합성 품질을 크게 향상시키고, 그들의 개인화된 변형에서도 다재다능함을 입증합니다. 광범위한 실험을 통해 HiFlow가 현재 최첨단 방법들을 능가하는 우수한 고해상도 이미지 품질을 달성하는 데 있어서의 우수성을 검증하였습니다.

English

Text-to-image (T2I) diffusion/flow models have drawn considerable attention recently due to their remarkable ability to deliver flexible visual creations. Still, high-resolution image synthesis presents formidable challenges due to the scarcity and complexity of high-resolution content. To this end, we present HiFlow, a training-free and model-agnostic framework to unlock the resolution potential of pre-trained flow models. Specifically, HiFlow establishes a virtual reference flow within the high-resolution space that effectively captures the characteristics of low-resolution flow information, offering guidance for high-resolution generation through three key aspects: initialization alignment for low-frequency consistency, direction alignment for structure preservation, and acceleration alignment for detail fidelity. By leveraging this flow-aligned guidance, HiFlow substantially elevates the quality of high-resolution image synthesis of T2I models and demonstrates versatility across their personalized variants. Extensive experiments validate HiFlow's superiority in achieving superior high-resolution image quality over current state-of-the-art methods.

HiFlow: 플로우 정렬 가이던스를 활용한 학습 없이 고해상도 이미지 생성

HiFlow: Training-free High-Resolution Image Generation with Flow-Aligned Guidance

초록

Support