TAG-MoE : Gating adaptatif aux tâches pour un mélange unifié d'experts génératifs

papers.abstract

Les modèles unifiés de génération et d'édition d'images souffrent d'interférences sévères entre tâches dans les architectures denses de transformeurs par diffusion, où un espace paramétrique partagé doit faire un compromis entre des objectifs conflictuels (par exemple, l'édition locale contre la génération pilotée par un sujet). Bien que le paradigme épars des mélanges d'experts (MoE) soit une solution prometteuse, ses réseaux de gating restent agnostiques à la tâche, fonctionnant sur la base de caractéristiques locales, sans conscience de l'intention globale de la tâche. Cette nature agnostique empêche une spécialisation significative et ne permet pas de résoudre l'interférence sous-jacente entre les tâches. Dans cet article, nous proposons un nouveau cadre pour injecter une intention sémantique dans le routage des MoE. Nous introduisons un schéma hiérarchique d'annotation sémantique des tâches pour créer des descripteurs de tâches structurés (par exemple, portée, type, préservation). Nous concevons ensuite une régularisation par alignement prédictif pour aligner les décisions de routage internes sur la sémantique de haut niveau de la tâche. Cette régularisation fait évoluer le réseau de gating d'un exécutant agnostique vers un centre de dispatch. Notre modèle atténue efficacement les interférences entre tâches, surpassant les modèles de référence denses en fidélité et en qualité, et notre analyse montre que les experts développent naturellement des spécialisations claires et sémantiquement corrélées.

English

Unified image generation and editing models suffer from severe task interference in dense diffusion transformers architectures, where a shared parameter space must compromise between conflicting objectives (e.g., local editing v.s. subject-driven generation). While the sparse Mixture-of-Experts (MoE) paradigm is a promising solution, its gating networks remain task-agnostic, operating based on local features, unaware of global task intent. This task-agnostic nature prevents meaningful specialization and fails to resolve the underlying task interference. In this paper, we propose a novel framework to inject semantic intent into MoE routing. We introduce a Hierarchical Task Semantic Annotation scheme to create structured task descriptors (e.g., scope, type, preservation). We then design Predictive Alignment Regularization to align internal routing decisions with the task's high-level semantics. This regularization evolves the gating network from a task-agnostic executor to a dispatch center. Our model effectively mitigates task interference, outperforming dense baselines in fidelity and quality, and our analysis shows that experts naturally develop clear and semantically correlated specializations.

TAG-MoE : Gating adaptatif aux tâches pour un mélange unifié d'experts génératifs

TAG-MoE: Task-Aware Gating for Unified Generative Mixture-of-Experts

papers.abstract

Support