SpheRoPE: 제로샷 최적화 없는 360도 파노라마 생성을 위한 구형 RoPE

초록

본 논문에서는 사전 훈련된 확산 트랜스포머(diffusion transformer)에 구형 사전 정보(spherical priors)를 직접 주입함으로써 360도 파노라마 이미지 및 비디오를 생성하는, 제로샷(zero-shot), 학습 불필요(training-free), 최적화 불필요(optimization-free) 프레임워크를 제시한다. 기존 방법은 희소한 파노라마 데이터에 대한 비용이 많이 드는 미세 조정(fine-tuning)에 의존하여 일반화 능력을 제한하거나, 다단계 최적화를 활용하여 금지할 정도로 높은 추론 지연 시간을 초래한다. 우리는 현대 생성 모델이 대규모 학습을 통해 본질적으로 일부 파노라마 사전 정보를 내포하고 있음을 관찰한다. 그러나 이러한 창발적 능력은 불충분한데, 이는 모델이 근본적으로 에퀴렉탱귤러 투영(equirectangular projection, ERP)이 부과하는 엄격한 위상적 제약 조건을 만족하지 못하기 때문이다. 우리는 이러한 제약 조건을 추론 시점에서 해결하는 제로샷 및 최적화 불필요 접근법을 도입한다. 구형 RoPE(Spherical RoPE)는 표준 회전 위치 임베딩(rotary position embedding)을 대체한다: 저주파 채널은 구형 다양체를 본질적으로 인코딩하기 위해 3차원 데카르트 좌표(Cartesian coordinate)로 재매개변수화되고, 고주파 채널은 정확한 주기성을 강제하기 위해 조화 양자화(harmonic quantization)된다. 기하학을 명시적으로 조정하는 보완적인 의미 왜곡 분류기 없는 유도(classifier-free guidance, CFG)와 결합하여, 재훈련을 피하면서 최첨단 모델의 전체 창의적 범위를 계승한다. 우리의 접근법은 다양한 백본(backbone) 및 360도 생성 양식에 걸쳐 일반화된다. Flux.1, Flux.2, LTX-Video 백본을 사용한 텍스트-파노라마 생성에서 이를 입증하며, 학습이 전혀 필요 없음에도 불구하고 기준선(baseline) 대비 경쟁력 있는 성능을 달성한다. 프로젝트 페이지: https://orhir.github.io/SpheRoPE

English

We present a zero-shot, training-free and optimization-free framework for generating 360 panoramic images and videos by directly injecting spherical priors into pre-trained diffusion transformers. Existing methods either rely on costly fine-tuning on scarce panoramic data that limits generalization, or leverage multi-step optimization that incurs prohibitive inference latency. We observe that contemporary generative models natively exhibit some panoramic priors from large-scale training. However, these emergent capabilities are insufficient, as the models fundamentally fail to satisfy the rigorous topological constraints imposed by equirectangular projection (ERP). We introduce a zero-shot and optimization-free approach that resolves these constraints at inference time. Spherical RoPE replaces standard rotary position embeddings: low-frequency channels are re-parameterized as 3D Cartesian coordinates to natively encode the spherical manifold, while high-frequency channels are harmonically quantized to enforce exact periodicity. Coupled with complementary Semantic Distortion classifier-free guidance (CFG) that explicitly steers geometry, we avoid retraining and inherit the full creative breadth of state-of-the-art models. Our approach generalizes across diverse backbones and 360 generation modalities. We demonstrate this across text-to-panorama using Flux.1, Flux.2, and LTX-Video backbones, achieving competitive performance against baselines, all while remaining training-free. Project page: https://orhir.github.io/SpheRoPE