Эквивариантное моделирование изображений

Equivariant Image Modeling

March 24, 2025

Авторы: Ruixiao Dong, Mengde Xu, Zigang Geng, Li Li, Han Hu, Shuyang Gu

cs.AI

Аннотация

Современные генеративные модели, такие как авторегрессивные и диффузионные подходы, разлагают обучение распределениям высокоразмерных данных на серию более простых подзадач. Однако в процессе совместной оптимизации этих подзадач возникают внутренние конфликты, и существующие решения не способны устранить такие конфликты без ущерба для эффективности или масштабируемости. Мы предлагаем новый эквивариантный фреймворк для моделирования изображений, который изначально согласует цели оптимизации между подзадачами, используя трансляционную инвариантность естественных визуальных сигналов. Наш метод включает (1) построчную токенизацию, которая усиливает трансляционную симметрию вдоль горизонтальной оси, и (2) оконное причинное внимание, которое обеспечивает согласованность контекстных отношений между позициями. При оценке на задаче генерации изображений ImageNet с условием класса и разрешением 256x256 наш подход демонстрирует производительность, сопоставимую с современными авторегрессивными моделями, при использовании меньших вычислительных ресурсов. Систематический анализ показывает, что усиленная эквивариантность снижает межзадачные конфликты, значительно улучшая обобщение в условиях zero-shot и позволяя синтезировать изображения сверхбольшой длины. Данная работа представляет первый фреймворк для согласованного разложения задач в генеративном моделировании, предлагая новые идеи для эффективного разделения параметров и бесконфликтной оптимизации. Код и модели доступны по адресу https://github.com/drx-code/EquivariantModeling.

English

Current generative models, such as autoregressive and diffusion approaches, decompose high-dimensional data distribution learning into a series of simpler subtasks. However, inherent conflicts arise during the joint optimization of these subtasks, and existing solutions fail to resolve such conflicts without sacrificing efficiency or scalability. We propose a novel equivariant image modeling framework that inherently aligns optimization targets across subtasks by leveraging the translation invariance of natural visual signals. Our method introduces (1) column-wise tokenization which enhances translational symmetry along the horizontal axis, and (2) windowed causal attention which enforces consistent contextual relationships across positions. Evaluated on class-conditioned ImageNet generation at 256x256 resolution, our approach achieves performance comparable to state-of-the-art AR models while using fewer computational resources. Systematic analysis demonstrates that enhanced equivariance reduces inter-task conflicts, significantly improving zero-shot generalization and enabling ultra-long image synthesis. This work establishes the first framework for task-aligned decomposition in generative modeling, offering insights into efficient parameter sharing and conflict-free optimization. The code and models are publicly available at https://github.com/drx-code/EquivariantModeling.