PhotoQuilt: Fotomosaicos de Resolução Arbitrária Livres de Treinamento via Remoção de Ruído em Blocos com Bootstrap

Resumo

Fotomosaicos são imagens grandes cujas regiões locais são vistas como tiles independentes, enquanto sua disposição geral forma uma cena coerente. Gerá-los em alta resolução, com cada tile convincente por si só, é computacionalmente caro, pois a tela deve conter muitos tiles detalhados simultaneamente. Apresentamos o PhotoQuilt, uma estrutura livre de treinamento que gera fotomosaicos em resolução arbitrária. Modelos de difusão têm dificuldade em atender ambas as escalas ao mesmo tempo, pois a geração direta em alta resolução é custosa e tende a uma imagem suave em vez de um mosaico, enquanto o tileamento por patches mantém detalhes locais, mas perde a estrutura global. O PhotoQuilt resolve isso com um procedimento bootstrap de remoção de ruído em tiles. Primeiro, produzimos uma composição global em baixa resolução para fixar o layout, depois a ampliamos no espaço latente e reinjetamos ruído para restaurar a capacidade generativa. A remoção de ruído ocorre dentro de tiles fixos, de modo que cada um forma sua própria imagem enquanto a estrutura global compartilhada os mantém em um único layout. Como a geração dos tiles é tratada separadamente, o PhotoQuilt escala para telas grandes sem custo quadrático de atenção. Experimentos mostram que o PhotoQuilt supera as linhas de base atuais tanto em estrutura global quanto em realismo local.

English

Photomosaics are large images whose local regions are seen as independent tiles while their overall arrangement forms a coherent scene. Generating them at high resolution, with every tile convincing in its own right, is computationally expensive, since the canvas must hold many detailed tiles at once. We present PhotoQuilt, a training-free framework that generates photomosaics at arbitrary resolution. Diffusion models struggle to satisfy both scales at once, as direct high-resolution generation is costly and tends toward one smooth image rather than a mosaic, while patch-based tiling keeps local detail but loses global structure. PhotoQuilt resolves this with a bootstrapped tiled denoising procedure. We first produce a global composition at low resolution to fix the layout, then upscale it in latent space and re-inject noise to restore generative capacity. Denoising proceeds within fixed tiles, so each forms its own image while the shared global structure holds them in one layout. Because tile generation is handled separately, PhotoQuilt scales to large canvases without quadratic attention cost. Experiments show that PhotoQuilt outperforms current baselines on both global structure and local realism.