SpheRoPE: Zero-Shot und optimierungsfreie 360-Grad-Panoramagenerierung mit sphärischem RoPE

Zusammenfassung

Wir präsentieren ein Zero-Shot-, trainingsfreies und optimierungsfreies Framework zur Erzeugung von 360°-Panoramabildern und -Videos, indem sphärische Priors direkt in vortrainierte Diffusions-Transformatoren injiziert werden. Bisherige Methoden sind entweder auf kostspieliges Feintuning mit begrenzten Panoramadaten angewiesen, was die Generalisierung einschränkt, oder nutzen mehrstufige Optimierung, die eine prohibitive Inferenzlatenz verursacht. Wir beobachten, dass moderne generative Modelle durch ihr groß angelegtes Training bereits von Natur aus gewisse Panorama-Priors aufweisen. Diese emergenten Fähigkeiten sind jedoch unzureichend, da die Modelle grundsätzlich nicht die strengen topologischen Einschränkungen erfüllen, die durch die äquidistante Zylinderprojektion (Equirectangular Projection, ERP) auferlegt werden. Wir führen einen Zero-Shot- und optimierungsfreien Ansatz ein, der diese Einschränkungen zur Inferenzzeit auflöst. Spherical RoPE ersetzt die standardmäßigen rotierenden Positionseinbettungen: Niederfrequente Kanäle werden als 3D-Kartesische Koordinaten reparametrisiert, um die sphärische Mannigfaltigkeit nativ zu kodieren, während hochfrequente Kanäle harmonisch quantisiert werden, um exakte Periodizität zu erzwingen. In Kombination mit einer komplementären Semantic-Distortion-Classifier-Free-Guidance (CFG), die explizit die Geometrie steuert, vermeiden wir ein erneutes Training und erben die gesamte kreative Bandbreite modernster Modelle. Unser Ansatz generalisiert über verschiedene Backbones und 360°-Generierungsmodalitäten hinweg. Wir demonstrieren dies für Text-zu-Panorama mit den Backbones Flux.1, Flux.2 und LTX-Video und erzielen eine wettbewerbsfähige Leistung im Vergleich zu Baselines, während wir dennoch trainingsfrei bleiben. Projektseite: https://orhir.github.io/SpheRoPE

English

We present a zero-shot, training-free and optimization-free framework for generating 360 panoramic images and videos by directly injecting spherical priors into pre-trained diffusion transformers. Existing methods either rely on costly fine-tuning on scarce panoramic data that limits generalization, or leverage multi-step optimization that incurs prohibitive inference latency. We observe that contemporary generative models natively exhibit some panoramic priors from large-scale training. However, these emergent capabilities are insufficient, as the models fundamentally fail to satisfy the rigorous topological constraints imposed by equirectangular projection (ERP). We introduce a zero-shot and optimization-free approach that resolves these constraints at inference time. Spherical RoPE replaces standard rotary position embeddings: low-frequency channels are re-parameterized as 3D Cartesian coordinates to natively encode the spherical manifold, while high-frequency channels are harmonically quantized to enforce exact periodicity. Coupled with complementary Semantic Distortion classifier-free guidance (CFG) that explicitly steers geometry, we avoid retraining and inherit the full creative breadth of state-of-the-art models. Our approach generalizes across diverse backbones and 360 generation modalities. We demonstrate this across text-to-panorama using Flux.1, Flux.2, and LTX-Video backbones, achieving competitive performance against baselines, all while remaining training-free. Project page: https://orhir.github.io/SpheRoPE