PhotoQuilt: 부트스트랩 타일 노이즈 제거를 통한 훈련 없는 임의 해상도 포토모자이크

초록

포토모자이크는 국소 영역이 독립적인 타일로 보이면서도 전체 배열이 하나의 일관된 장면을 형성하는 대형 이미지입니다. 모든 타일이 각각 설득력 있는 고해상도 이미지를 생성하는 것은 캔버스에 많은 세부 타일을 동시에 담아야 하므로 계산 비용이 많이 듭니다. 본 논문에서는 임의 해상도로 포토모자이크를 생성하는 학습 없는 프레임워크인 PhotoQuilt를 제시합니다. 확산 모델은 두 가지 규모를 동시에 충족시키는 데 어려움을 겪습니다. 직접 고해상도 생성을 하면 비용이 많이 들고 모자이크보다는 하나의 부드러운 이미지에 가까워지는 반면, 패치 기반 타일링은 국소 디테일을 유지하지만 전역 구조를 잃습니다. PhotoQuilt는 부트스트랩 기반 타일 노이즈 제거 절차를 통해 이 문제를 해결합니다. 먼저 저해상도에서 전역 구성을 생성하여 레이아웃을 고정한 다음, 이를 잠재 공간에서 업스케일하고 노이즈를 재주입하여 생성 능력을 복원합니다. 노이즈 제거는 고정된 타일 내에서 진행되므로 각 타일이 자체 이미지를 형성하는 동시에 공유된 전역 구조가 이를 하나의 레이아웃으로 유지합니다. 타일 생성을 개별적으로 처리하기 때문에 PhotoQuilt는 이차 주의 비용 없이 대형 캔버스로 확장 가능합니다. 실험 결과, PhotoQuilt는 전역 구조와 국소 사실성 모두에서 현재의 기준선보다 우수한 성능을 보임을 확인했습니다.

English

Photomosaics are large images whose local regions are seen as independent tiles while their overall arrangement forms a coherent scene. Generating them at high resolution, with every tile convincing in its own right, is computationally expensive, since the canvas must hold many detailed tiles at once. We present PhotoQuilt, a training-free framework that generates photomosaics at arbitrary resolution. Diffusion models struggle to satisfy both scales at once, as direct high-resolution generation is costly and tends toward one smooth image rather than a mosaic, while patch-based tiling keeps local detail but loses global structure. PhotoQuilt resolves this with a bootstrapped tiled denoising procedure. We first produce a global composition at low resolution to fix the layout, then upscale it in latent space and re-inject noise to restore generative capacity. Denoising proceeds within fixed tiles, so each forms its own image while the shared global structure holds them in one layout. Because tile generation is handled separately, PhotoQuilt scales to large canvases without quadratic attention cost. Experiments show that PhotoQuilt outperforms current baselines on both global structure and local realism.