TAG-MoE: Porta com Consciência da Tarefa para Mistura Unificada de Especialistas Generativos
TAG-MoE: Task-Aware Gating for Unified Generative Mixture-of-Experts
January 12, 2026
Autores: Yu Xu, Hongbin Yan, Juan Cao, Yiji Cheng, Tiankai Hang, Runze He, Zijin Yin, Shiyi Zhang, Yuxin Zhang, Jintao Li, Chunyu Wang, Qinglin Lu, Tong-Yee Lee, Fan Tang
cs.AI
Resumo
Os modelos unificados de geração e edição de imagens sofrem com severa interferência de tarefas em arquiteturas densas de transformadores de difusão, onde um espaço de parâmetros compartilhado deve fazer concessões entre objetivos conflitantes (ex.: edição local versus geração orientada por assunto). Embora o paradigma esparso de Mistura de Especialistas (MoE) seja uma solução promissora, suas redes de gateamento permanecem agnósticas à tarefa, operando com base em características locais e alheias à intenção global da tarefa. Essa natureza agnóstica impede uma especialização significativa e não resolve a interferência subjacente das tarefas. Neste artigo, propomos uma nova estrutura para injetar intenção semântica no roteamento do MoE. Introduzimos um Esquema Hierárquico de Anotação Semântica de Tarefas para criar descritores estruturados (ex.: escopo, tipo, preservação). Em seguida, projetamos uma Regularização de Alinhamento Preditivo para alinhar as decisões internas de roteamento com a semântica de alto nível da tarefa. Essa regularização transforma a rede de gateamento de um executor agnóstico em um centro de despacho. Nosso modelo mitiga efetivamente a interferência de tarefas, superando as linhas de base densas em fidelidade e qualidade, e nossa análise mostra que os especialistas desenvolvem naturalmente especializações claras e semanticamente correlacionadas.
English
Unified image generation and editing models suffer from severe task interference in dense diffusion transformers architectures, where a shared parameter space must compromise between conflicting objectives (e.g., local editing v.s. subject-driven generation). While the sparse Mixture-of-Experts (MoE) paradigm is a promising solution, its gating networks remain task-agnostic, operating based on local features, unaware of global task intent. This task-agnostic nature prevents meaningful specialization and fails to resolve the underlying task interference. In this paper, we propose a novel framework to inject semantic intent into MoE routing. We introduce a Hierarchical Task Semantic Annotation scheme to create structured task descriptors (e.g., scope, type, preservation). We then design Predictive Alignment Regularization to align internal routing decisions with the task's high-level semantics. This regularization evolves the gating network from a task-agnostic executor to a dispatch center. Our model effectively mitigates task interference, outperforming dense baselines in fidelity and quality, and our analysis shows that experts naturally develop clear and semantically correlated specializations.