SpheRoPE : Génération de panoramas à 360 degrés sans optimisation et en zero-shot avec RoPE sphérique

Résumé

Nous présentons un cadre zéro-shot, sans apprentissage et sans optimisation pour la génération d'images et de vidéos panoramiques à 360°, en injectant directement des a priori sphériques dans des transformeurs de diffusion pré-entraînés. Les méthodes existantes reposent soit sur un réglage fin coûteux avec des données panoramiques rares, ce qui limite la généralisation, soit sur une optimisation en plusieurs étapes entraînant une latence d'inférence prohibitive. Nous observons que les modèles génératifs contemporains possèdent naturellement certains a priori panoramiques issus de l'entraînement à grande échelle. Cependant, ces capacités émergentes sont insuffisantes, car les modèles ne parviennent pas fondamentalement à satisfaire les contraintes topologiques rigoureuses imposées par la projection équirectangulaire (ERP). Nous introduisons une approche zéro-shot et sans optimisation qui résout ces contraintes au moment de l'inférence. Le Spherical RoPE remplace les embeddings de position rotatoires standards : les canaux basse fréquence sont reparamétrés en coordonnées cartésiennes 3D pour encoder naturellement la variété sphérique, tandis que les canaux haute fréquence sont quantifiés harmoniquement pour imposer une périodicité exacte. Couplée à un guidage sans classifieur (CFG) complémentaire par distorsion sémantique qui oriente explicitement la géométrie, nous évitons le réapprentissage et héritons de toute l'étendue créative des modèles de pointe. Notre approche se généralise à diverses architectures et modalités de génération 360°. Nous le démontrons à travers la génération texte-vers-panorama avec les architectures Flux.1, Flux.2 et LTX-Video, atteignant des performances compétitives par rapport aux bases de référence, tout en restant sans apprentissage. Page du projet : https://orhir.github.io/SpheRoPE

English

We present a zero-shot, training-free and optimization-free framework for generating 360 panoramic images and videos by directly injecting spherical priors into pre-trained diffusion transformers. Existing methods either rely on costly fine-tuning on scarce panoramic data that limits generalization, or leverage multi-step optimization that incurs prohibitive inference latency. We observe that contemporary generative models natively exhibit some panoramic priors from large-scale training. However, these emergent capabilities are insufficient, as the models fundamentally fail to satisfy the rigorous topological constraints imposed by equirectangular projection (ERP). We introduce a zero-shot and optimization-free approach that resolves these constraints at inference time. Spherical RoPE replaces standard rotary position embeddings: low-frequency channels are re-parameterized as 3D Cartesian coordinates to natively encode the spherical manifold, while high-frequency channels are harmonically quantized to enforce exact periodicity. Coupled with complementary Semantic Distortion classifier-free guidance (CFG) that explicitly steers geometry, we avoid retraining and inherit the full creative breadth of state-of-the-art models. Our approach generalizes across diverse backbones and 360 generation modalities. We demonstrate this across text-to-panorama using Flux.1, Flux.2, and LTX-Video backbones, achieving competitive performance against baselines, all while remaining training-free. Project page: https://orhir.github.io/SpheRoPE