GPS come Segnale di Controllo per la Generazione di Immagini

GPS as a Control Signal for Image Generation

January 21, 2025

Autori: Chao Feng, Ziyang Chen, Aleksander Holynski, Alexei A. Efros, Andrew Owens

cs.AI

Abstract

Dimostriamo che i tag GPS contenuti nei metadati delle foto forniscono un segnale di controllo utile per la generazione di immagini. Alleniamo modelli GPS-per-immagine e li utilizziamo per compiti che richiedono una comprensione dettagliata di come le immagini variano all'interno di una città. In particolare, alleniamo un modello di diffusione per generare immagini condizionate sia dal GPS che dal testo. Il modello appreso genera immagini che catturano l'aspetto distintivo di diversi quartieri, parchi e luoghi di interesse. Estraiamo inoltre modelli 3D da modelli GPS-per-immagine 2D attraverso campionamento di distillazione del punteggio, utilizzando il condizionamento GPS per vincolare l'aspetto della ricostruzione da ciascun punto di vista. Le nostre valutazioni suggeriscono che i nostri modelli condizionati dal GPS imparano con successo a generare immagini che variano in base alla posizione, e che il condizionamento GPS migliora la stima della struttura 3D.

English

We show that the GPS tags contained in photo metadata provide a useful control signal for image generation. We train GPS-to-image models and use them for tasks that require a fine-grained understanding of how images vary within a city. In particular, we train a diffusion model to generate images conditioned on both GPS and text. The learned model generates images that capture the distinctive appearance of different neighborhoods, parks, and landmarks. We also extract 3D models from 2D GPS-to-image models through score distillation sampling, using GPS conditioning to constrain the appearance of the reconstruction from each viewpoint. Our evaluations suggest that our GPS-conditioned models successfully learn to generate images that vary based on location, and that GPS conditioning improves estimated 3D structure.