PhotoQuilt: фотомозаики произвольного разрешения без обучения с помощью бутстрепированного тайлового шумоподавления

Аннотация

Фотомозаики — это крупные изображения, локальные области которых воспринимаются как независимые тайлы, а их общая компоновка формирует целостную сцену. Генерация таких изображений с высоким разрешением, где каждый тайл убедителен сам по себе, требует больших вычислительных затрат, поскольку холст должен одновременно содержать множество детализированных тайлов. Мы представляем PhotoQuilt — структуру, не требующую обучения, которая создает фотомозаики произвольного разрешения. Диффузионные модели с трудом удовлетворяют обоим масштабам одновременно: прямая генерация высокого разрешения затратна и скорее приводит к одному гладкому изображению, а не к мозаике, тогда как тайловая генерация сохраняет локальные детали, но теряет глобальную структуру. PhotoQuilt решает эту проблему с помощью процедуры шумоподавления по тайлам с начальной загрузкой. Сначала мы создаем глобальную композицию с низким разрешением для фиксации макета, затем масштабируем её в латентном пространстве и повторно вводим шум для восстановления генеративной способности. Шумоподавление происходит внутри фиксированных тайлов, так что каждый формирует собственное изображение, а общая глобальная структура удерживает их в едином макете. Поскольку генерация тайлов обрабатывается отдельно, PhotoQuilt масштабируется до больших холстов без квадратичной стоимости внимания. Эксперименты показывают, что PhotoQuilt превосходит текущие базовые модели как по глобальной структуре, так и по локальному реализму.

English

Photomosaics are large images whose local regions are seen as independent tiles while their overall arrangement forms a coherent scene. Generating them at high resolution, with every tile convincing in its own right, is computationally expensive, since the canvas must hold many detailed tiles at once. We present PhotoQuilt, a training-free framework that generates photomosaics at arbitrary resolution. Diffusion models struggle to satisfy both scales at once, as direct high-resolution generation is costly and tends toward one smooth image rather than a mosaic, while patch-based tiling keeps local detail but loses global structure. PhotoQuilt resolves this with a bootstrapped tiled denoising procedure. We first produce a global composition at low resolution to fix the layout, then upscale it in latent space and re-inject noise to restore generative capacity. Denoising proceeds within fixed tiles, so each forms its own image while the shared global structure holds them in one layout. Because tile generation is handled separately, PhotoQuilt scales to large canvases without quadratic attention cost. Experiments show that PhotoQuilt outperforms current baselines on both global structure and local realism.