Modélisation d'images équivariantes

Equivariant Image Modeling

March 24, 2025

Auteurs: Ruixiao Dong, Mengde Xu, Zigang Geng, Li Li, Han Hu, Shuyang Gu

cs.AI

Résumé

Les modèles génératifs actuels, tels que les approches autorégressives et de diffusion, décomposent l'apprentissage de distributions de données en haute dimension en une série de sous-tâches plus simples. Cependant, des conflits inhérents surviennent lors de l'optimisation conjointe de ces sous-tâches, et les solutions existantes ne parviennent pas à résoudre ces conflits sans sacrifier l'efficacité ou l'évolutivité. Nous proposons un nouveau cadre de modélisation d'images équivariantes qui aligne intrinsèquement les objectifs d'optimisation entre les sous-tâches en exploitant l'invariance par translation des signaux visuels naturels. Notre méthode introduit (1) une tokenisation colonne par colonne qui renforce la symétrie translationnelle le long de l'axe horizontal, et (2) une attention causale fenêtrée qui impose des relations contextuelles cohérentes entre les positions. Évaluée sur la génération d'images conditionnées par classe sur ImageNet à une résolution de 256x256, notre approche atteint des performances comparables aux modèles AR de pointe tout en utilisant moins de ressources computationnelles. Une analyse systématique démontre qu'une équivariance améliorée réduit les conflits inter-tâches, améliorant significativement la généralisation zero-shot et permettant la synthèse d'images ultra-longues. Ce travail établit le premier cadre pour la décomposition alignée sur les tâches en modélisation générative, offrant des insights sur le partage efficace des paramètres et l'optimisation sans conflits. Le code et les modèles sont disponibles publiquement à l'adresse https://github.com/drx-code/EquivariantModeling.

English

Current generative models, such as autoregressive and diffusion approaches, decompose high-dimensional data distribution learning into a series of simpler subtasks. However, inherent conflicts arise during the joint optimization of these subtasks, and existing solutions fail to resolve such conflicts without sacrificing efficiency or scalability. We propose a novel equivariant image modeling framework that inherently aligns optimization targets across subtasks by leveraging the translation invariance of natural visual signals. Our method introduces (1) column-wise tokenization which enhances translational symmetry along the horizontal axis, and (2) windowed causal attention which enforces consistent contextual relationships across positions. Evaluated on class-conditioned ImageNet generation at 256x256 resolution, our approach achieves performance comparable to state-of-the-art AR models while using fewer computational resources. Systematic analysis demonstrates that enhanced equivariance reduces inter-task conflicts, significantly improving zero-shot generalization and enabling ultra-long image synthesis. This work establishes the first framework for task-aligned decomposition in generative modeling, offering insights into efficient parameter sharing and conflict-free optimization. The code and models are publicly available at https://github.com/drx-code/EquivariantModeling.