画像生成のための制御信号としてのGPS

GPS as a Control Signal for Image Generation

January 21, 2025

著者: Chao Feng, Ziyang Chen, Aleksander Holynski, Alexei A. Efros, Andrew Owens

cs.AI

要旨

写真のメタデータに含まれるGPSタグが、画像生成のための有用な制御信号を提供することを示します。GPSから画像へのモデルを訓練し、都市内で画像がどのように変化するかを細かく理解する必要があるタスクに使用します。特に、GPSとテキストの両方に依存した画像を生成するために拡散モデルを訓練します。学習されたモデルは、異なる地区、公園、名所の特徴的な外観を捉えた画像を生成します。また、GPSによる制約を使用して、各視点からの再構成の外観を制約するために、2D GPSから画像へのモデルから3Dモデルを抽出します。評価から、GPSによる条件付けされたモデルが、位置に基づいて画像を生成することを成功裏に学習し、GPSによる条件付けが推定された3D構造を向上させることが示唆されます。

English

We show that the GPS tags contained in photo metadata provide a useful control signal for image generation. We train GPS-to-image models and use them for tasks that require a fine-grained understanding of how images vary within a city. In particular, we train a diffusion model to generate images conditioned on both GPS and text. The learned model generates images that capture the distinctive appearance of different neighborhoods, parks, and landmarks. We also extract 3D models from 2D GPS-to-image models through score distillation sampling, using GPS conditioning to constrain the appearance of the reconstruction from each viewpoint. Our evaluations suggest that our GPS-conditioned models successfully learn to generate images that vary based on location, and that GPS conditioning improves estimated 3D structure.