SpheRoPE: zero-shot генерация 360-градусных панорам без оптимизации с помощью сферического RoPE

Аннотация

Мы представляем фреймворк с нулевой настройкой, без обучения и без оптимизации для генерации 360-градусных панорамных изображений и видео путем непосредственного внедрения сферических априорных данных в предварительно обученные диффузионные трансформеры. Существующие методы либо полагаются на дорогостоящую дообучение на ограниченных панорамных данных, что ограничивает обобщение, либо используют многошаговую оптимизацию, вызывающую неприемлемую задержку вывода. Мы наблюдаем, что современные генеративные модели изначально обладают некоторыми панорамными априорными данными благодаря крупномасштабному обучению. Однако этих возникающих возможностей недостаточно, так как модели принципиально не способны удовлетворять строгим топологическим ограничениям, накладываемым эквипрямоугольной проекцией (ERP). Мы предлагаем подход с нулевой настройкой и без оптимизации, который устраняет эти ограничения во время вывода. Сферический RoPE заменяет стандартные вращательные позиционные вложения: низкочастотные каналы перепараметризуются как трехмерные декартовы координаты для естественного кодирования сферического многообразия, а высокочастотные каналы гармонически квантуются для обеспечения точной периодичности. В сочетании с дополнительным семантическим искажением в бесклассификаторном управлении (CFG), которое явно направляет геометрию, мы избегаем переобучения и наследуем полный творческий диапазон современных моделей. Наш подход обобщается на различные архитектуры и модальности генерации 360°. Мы демонстрируем это для задачи текст-в-панораму с использованием Flux.1, Flux.2 и LTX-Video в качестве базовых моделей, достигая конкурентоспособных результатов по сравнению с эталонными методами, при этом оставаясь свободным от обучения. Страница проекта: https://orhir.github.io/SpheRoPE

English

We present a zero-shot, training-free and optimization-free framework for generating 360 panoramic images and videos by directly injecting spherical priors into pre-trained diffusion transformers. Existing methods either rely on costly fine-tuning on scarce panoramic data that limits generalization, or leverage multi-step optimization that incurs prohibitive inference latency. We observe that contemporary generative models natively exhibit some panoramic priors from large-scale training. However, these emergent capabilities are insufficient, as the models fundamentally fail to satisfy the rigorous topological constraints imposed by equirectangular projection (ERP). We introduce a zero-shot and optimization-free approach that resolves these constraints at inference time. Spherical RoPE replaces standard rotary position embeddings: low-frequency channels are re-parameterized as 3D Cartesian coordinates to natively encode the spherical manifold, while high-frequency channels are harmonically quantized to enforce exact periodicity. Coupled with complementary Semantic Distortion classifier-free guidance (CFG) that explicitly steers geometry, we avoid retraining and inherit the full creative breadth of state-of-the-art models. Our approach generalizes across diverse backbones and 360 generation modalities. We demonstrate this across text-to-panorama using Flux.1, Flux.2, and LTX-Video backbones, achieving competitive performance against baselines, all while remaining training-free. Project page: https://orhir.github.io/SpheRoPE