幾何学的認識事前学習によるインコンテクストパノラマ生成の強化

要旨

本研究では、インコンテクストパノラマ生成のための二段階フレームワーク「Canvas360」を提案する。これは、幾何認識事前学習と下流タスク固有のファインチューニングを組み合わせたものである。インコンテクストパノラマタスクに特化した大規模かつ高品質な訓練データの不足に対処するため、スタイル変換、インペインティング、アウトペインティング、編集のための100万個の高品質なペアパノラマサンプルからなるデータセット「Canvas360Dataset」を構築し、多様なインコンテクスト生成シナリオにおいて効果的な教師信号を提供する。モデリング面では、Canvas360は並列深度生成、速度円形パディング、類似度損失正則化を通じてテキストからパノラマへの生成を強化し、モデルが幾何認識表現を学習し、物体の歪みの詳細を捉え、幾何的一貫性と全体的な整合性を向上させることを可能にする。さらに、強力なパノラマ事前知識を活用し、Canvas360はトークンレベルの連結を通じて多様な下流タスクをサポートする統一的なインコンテクストパノラマ生成フレームワークを実現し、タスクのカバレッジとモデリングの柔軟性の両方において従来手法を凌駕する。広範な実験により、Canvas360はパノラマ画像の忠実度を改善し、特にパノラマ特化のFAEDメトリックにおいて顕著な性能を示し、報告された定量的評価において競争力のあるまたはトップクラスの結果を達成することが示された。詳細はプロジェクトページ（https://zry000.github.io/Canvas360/）を参照されたい。

English

In this work, we present Canvas360, a two-stage framework for in-context panoramic generation that combines geometry-aware pretraining with downstream task-specific fine-tuning. To address the lack of large-scale, high-quality training data tailored to in-context panoramic tasks, we propose Canvas360Dataset, a collection of 1M high-quality paired panoramic samples for style transfer, inpainting, outpainting, and editing, enabling effective supervision across diverse in-context generation scenarios. On the modeling side, Canvas360 enhances text-to-panorama generation through parallel depth generation, velocity circular padding, and similarity loss regularization, enabling the model to learn geometry-aware representations, capture object distortion details, and improve geometric consistency and global coherence. Furthermore, empowered by strong panoramic priors, Canvas360 enables a unified in-context panoramic generation framework that supports diverse downstream tasks via token-level concatenation, surpassing prior methods in both task coverage and modeling flexibility. Extensive experiments show that Canvas360 improves panoramic image fidelity, achieving particularly strong performance on the panorama-specific FAED metric and competitive or leading results across the reported quantitative evaluations. More information can be found on our project page: https://zry000.github.io/Canvas360/