PhotoQuilt: Trainingsfreie Fotomosaike mit beliebiger Auflösung durch Bootstrapped-Tiled-Denoising

Zusammenfassung

Photomosaike sind große Bilder, deren lokale Bereiche als eigenständige Kacheln erscheinen, während ihre Gesamtanordnung eine kohärente Szene ergibt. Ihre Erzeugung in hoher Auflösung, bei der jede Kachel für sich überzeugend wirkt, ist rechenintensiv, da die Leinwand gleichzeitig viele detaillierte Kacheln enthalten muss. Wir stellen PhotoQuilt vor, ein trainingsfreies Framework, das Photomosaike in beliebiger Auflösung generiert. Diffusionsmodelle haben Schwierigkeiten, beide Maßstäbe gleichzeitig zu erfüllen, da eine direkte hochauflösende Generierung teuer ist und eher zu einem glatten Gesamtbild als zu einem Mosaik führt, während eine kachelbasierte Aufteilung lokale Details bewahrt, aber die globale Struktur verliert. PhotoQuilt löst dies mit einer bootstrap-basierten Kachel-Entrauschungsprozedur. Zunächst erstellen wir eine globale Komposition in niedriger Auflösung, um das Layout festzulegen, skalieren sie dann im latenten Raum hoch und fügen erneut Rauschen hinzu, um die generative Kapazität wiederherzustellen. Die Entrauschung erfolgt innerhalb festgelegter Kacheln, sodass jede ihr eigenes Bild formt, während die gemeinsame globale Struktur sie in einem Layout zusammenhält. Da die Kachelgenerierung separat erfolgt, skaliert PhotoQuilt auf große Leinwände ohne quadratische Aufmerksamkeitskosten. Experimente zeigen, dass PhotoQuilt sowohl hinsichtlich der globalen Struktur als auch der lokalen Realitätsnähe die derzeitigen Basislinien übertrifft.

English

Photomosaics are large images whose local regions are seen as independent tiles while their overall arrangement forms a coherent scene. Generating them at high resolution, with every tile convincing in its own right, is computationally expensive, since the canvas must hold many detailed tiles at once. We present PhotoQuilt, a training-free framework that generates photomosaics at arbitrary resolution. Diffusion models struggle to satisfy both scales at once, as direct high-resolution generation is costly and tends toward one smooth image rather than a mosaic, while patch-based tiling keeps local detail but loses global structure. PhotoQuilt resolves this with a bootstrapped tiled denoising procedure. We first produce a global composition at low resolution to fix the layout, then upscale it in latent space and re-inject noise to restore generative capacity. Denoising proceeds within fixed tiles, so each forms its own image while the shared global structure holds them in one layout. Because tile generation is handled separately, PhotoQuilt scales to large canvases without quadratic attention cost. Experiments show that PhotoQuilt outperforms current baselines on both global structure and local realism.