Rep-MTL: Liberando o Poder da Saliência de Tarefas no Nível de Representação para Aprendizado Multitarefa

Rep-MTL: Unleashing the Power of Representation-level Task Saliency for Multi-Task Learning

July 28, 2025

Autores: Zedong Wang, Siyuan Li, Dan Xu

cs.AI

Resumo

Apesar da promessa da Aprendizagem Multitarefa em aproveitar o conhecimento complementar entre tarefas, as técnicas existentes de otimização multitarefa (MTO) permanecem focadas em resolver conflitos por meio de estratégias de escalonamento de perda e manipulação de gradientes centradas no otimizador, mas falham em entregar ganhos consistentes. Neste artigo, argumentamos que o espaço de representação compartilhada, onde as interações entre tarefas ocorrem naturalmente, oferece informações ricas e potencial para operações complementares aos otimizadores existentes, especialmente para facilitar a complementaridade intertarefa, que raramente é explorada no MTO. Essa intuição leva ao Rep-MTL, que explora a saliência de tarefa no nível de representação para quantificar as interações entre a otimização específica de cada tarefa e o aprendizado de representação compartilhada. Ao direcionar essas saliências por meio de penalização baseada em entropia e alinhamento intertarefa por amostra, o Rep-MTL visa mitigar a transferência negativa mantendo o treinamento eficaz de tarefas individuais, em vez de apenas resolver conflitos, enquanto promove explicitamente o compartilhamento de informações complementares. Experimentos são conduzidos em quatro benchmarks desafiadores de MTL, cobrindo cenários de mudança de tarefa e mudança de domínio. Os resultados mostram que o Rep-MTL, mesmo quando emparelhado com a política básica de ponderação igual, alcança ganhos de desempenho competitivos com eficiência favorável. Além das métricas de desempenho padrão, a análise do expoente da Lei de Potência demonstra a eficácia do Rep-MTL em equilibrar o aprendizado específico de cada tarefa e o compartilhamento intertarefa. A página do projeto está disponível AQUI.

English

Despite the promise of Multi-Task Learning in leveraging complementary knowledge across tasks, existing multi-task optimization (MTO) techniques remain fixated on resolving conflicts via optimizer-centric loss scaling and gradient manipulation strategies, yet fail to deliver consistent gains. In this paper, we argue that the shared representation space, where task interactions naturally occur, offers rich information and potential for operations complementary to existing optimizers, especially for facilitating the inter-task complementarity, which is rarely explored in MTO. This intuition leads to Rep-MTL, which exploits the representation-level task saliency to quantify interactions between task-specific optimization and shared representation learning. By steering these saliencies through entropy-based penalization and sample-wise cross-task alignment, Rep-MTL aims to mitigate negative transfer by maintaining the effective training of individual tasks instead pure conflict-solving, while explicitly promoting complementary information sharing. Experiments are conducted on four challenging MTL benchmarks covering both task-shift and domain-shift scenarios. The results show that Rep-MTL, even paired with the basic equal weighting policy, achieves competitive performance gains with favorable efficiency. Beyond standard performance metrics, Power Law exponent analysis demonstrates Rep-MTL's efficacy in balancing task-specific learning and cross-task sharing. The project page is available at HERE.