SpheRoPE: Generación de panoramas 360° zero-shot y sin optimización con RoPE esférico

Resumen

Presentamos un marco libre de entrenamiento y optimización que opera en modo zero-shot para generar imágenes y videos panorámicos de 360°, mediante la inyección directa de prioridades esféricas en transformadores de difusión preentrenados. Los métodos existentes o bien dependen de un costoso ajuste fino en datos panorámicos escasos que limita la generalización, o aprovechan una optimización de múltiples pasos que conlleva una latencia de inferencia prohibitiva. Observamos que los modelos generativos contemporáneos exhiben de forma nativa ciertas prioridades panorámicas derivadas del entrenamiento a gran escala. Sin embargo, estas capacidades emergentes son insuficientes, ya que los modelos no logran satisfacer las rigurosas restricciones topológicas impuestas por la proyección equirrectangular (ERP). Introducimos un enfoque zero-shot y libre de optimización que resuelve estas restricciones en tiempo de inferencia. Spherical RoPE reemplaza los embeddings posicionales rotatorios estándar: los canales de baja frecuencia se reparametrizan como coordenadas cartesianas 3D para codificar de forma nativa la variedad esférica, mientras que los canales de alta frecuencia se cuantizan armónicamente para imponer una periodicidad exacta. Combinado con la guía libre de clasificador (CFG) de Distorsión Semántica complementaria, que dirige explícitamente la geometría, evitamos el reentrenamiento y heredamos toda la amplitud creativa de los modelos de vanguardia. Nuestro enfoque se generaliza a través de diversas arquitecturas base y modalidades de generación 360°. Lo demostramos en texto a panorama usando las arquitecturas base Flux.1, Flux.2 y LTX-Video, logrando un rendimiento competitivo frente a las líneas base, todo ello sin requerir entrenamiento. Página del proyecto: https://orhir.github.io/SpheRoPE

English

We present a zero-shot, training-free and optimization-free framework for generating 360 panoramic images and videos by directly injecting spherical priors into pre-trained diffusion transformers. Existing methods either rely on costly fine-tuning on scarce panoramic data that limits generalization, or leverage multi-step optimization that incurs prohibitive inference latency. We observe that contemporary generative models natively exhibit some panoramic priors from large-scale training. However, these emergent capabilities are insufficient, as the models fundamentally fail to satisfy the rigorous topological constraints imposed by equirectangular projection (ERP). We introduce a zero-shot and optimization-free approach that resolves these constraints at inference time. Spherical RoPE replaces standard rotary position embeddings: low-frequency channels are re-parameterized as 3D Cartesian coordinates to natively encode the spherical manifold, while high-frequency channels are harmonically quantized to enforce exact periodicity. Coupled with complementary Semantic Distortion classifier-free guidance (CFG) that explicitly steers geometry, we avoid retraining and inherit the full creative breadth of state-of-the-art models. Our approach generalizes across diverse backbones and 360 generation modalities. We demonstrate this across text-to-panorama using Flux.1, Flux.2, and LTX-Video backbones, achieving competitive performance against baselines, all while remaining training-free. Project page: https://orhir.github.io/SpheRoPE