Verbesserung der In-Context-Panoramaerzeugung durch geometriebewusstes Pretraining

Zusammenfassung

In dieser Arbeit stellen wir Canvas360 vor, ein zweistufiges Framework für die In-Context-Panoramagenerierung, das geometriebewusstes Vortraining mit aufgabenspezifischem Feintuning für nachgelagerte Aufgaben kombiniert. Um den Mangel an groß angelegten, hochwertigen Trainingsdaten zu adressieren, die auf In-Context-Panoramaaufgaben zugeschnitten sind, schlagen wir Canvas360Dataset vor, eine Sammlung von 1 Million hochwertigen gepaarten Panoramastichproben für Stiltransfer, Inpainting, Outpainting und Editing, die eine effektive Überwachung über verschiedene In-Context-Generierungsszenarien hinweg ermöglicht. Auf der Modellierungsseite verbessert Canvas360 die Text-zu-Panorama-Generierung durch Parallel Depth Generation, Velocity Circular Padding und Similarity Loss Regularization, wodurch das Modell in die Lage versetzt wird, geometriebewusste Repräsentationen zu erlernen, Details von Objektverzerrungen zu erfassen und die geometrische Konsistenz sowie globale Kohärenz zu verbessern. Darüber hinaus ermöglicht Canvas360, gestärkt durch starke Panorama-Priors, ein einheitliches In-Context-Panoramagenerierungs-Framework, das verschiedene nachgelagerte Aufgaben durch Token-Level-Verkettung unterstützt und damit frühere Methoden sowohl in der Aufgabenabdeckung als auch in der Modellierungsflexibilität übertrifft. Umfangreiche Experimente zeigen, dass Canvas360 die Panoramabildtreue verbessert, insbesondere starke Leistungen bei der panoramaspezifischen FAED-Metrik erzielt und in den berichteten quantitativen Bewertungen wettbewerbsfähige oder führende Ergebnisse liefert. Weitere Informationen finden Sie auf unserer Projektseite: https://zry000.github.io/Canvas360/

English

In this work, we present Canvas360, a two-stage framework for in-context panoramic generation that combines geometry-aware pretraining with downstream task-specific fine-tuning. To address the lack of large-scale, high-quality training data tailored to in-context panoramic tasks, we propose Canvas360Dataset, a collection of 1M high-quality paired panoramic samples for style transfer, inpainting, outpainting, and editing, enabling effective supervision across diverse in-context generation scenarios. On the modeling side, Canvas360 enhances text-to-panorama generation through parallel depth generation, velocity circular padding, and similarity loss regularization, enabling the model to learn geometry-aware representations, capture object distortion details, and improve geometric consistency and global coherence. Furthermore, empowered by strong panoramic priors, Canvas360 enables a unified in-context panoramic generation framework that supports diverse downstream tasks via token-level concatenation, surpassing prior methods in both task coverage and modeling flexibility. Extensive experiments show that Canvas360 improves panoramic image fidelity, achieving particularly strong performance on the panorama-specific FAED metric and competitive or leading results across the reported quantitative evaluations. More information can be found on our project page: https://zry000.github.io/Canvas360/