Rep-MTL: Desatendiendo el Poder de la Saliencia de Tareas a Nivel de Representación para el Aprendizaje Multitarea

Rep-MTL: Unleashing the Power of Representation-level Task Saliency for Multi-Task Learning

July 28, 2025

Autores: Zedong Wang, Siyuan Li, Dan Xu

cs.AI

Resumen

A pesar de las promesas del Aprendizaje Multitarea (Multi-Task Learning, MTL) en el aprovechamiento de conocimientos complementarios entre tareas, las técnicas existentes de optimización multitarea (Multi-Task Optimization, MTO) siguen centradas en resolver conflictos mediante estrategias de escalado de pérdidas y manipulación de gradientes centradas en el optimizador, sin lograr ganancias consistentes. En este artículo, argumentamos que el espacio de representación compartida, donde ocurren naturalmente las interacciones entre tareas, ofrece información rica y potencial para operaciones complementarias a los optimizadores existentes, especialmente para facilitar la complementariedad entre tareas, un aspecto raramente explorado en MTO. Esta intuición lleva a Rep-MTL, que explora la prominencia de tareas a nivel de representación para cuantificar las interacciones entre la optimización específica de tareas y el aprendizaje de representaciones compartidas. Al guiar estas prominencias mediante penalización basada en entropía y alineación entre tareas a nivel de muestras, Rep-MTL busca mitigar la transferencia negativa al mantener el entrenamiento efectivo de tareas individuales en lugar de enfocarse únicamente en la resolución de conflictos, mientras promueve explícitamente el intercambio de información complementaria. Se realizan experimentos en cuatro benchmarks desafiantes de MTL que cubren escenarios de cambio de tareas y cambio de dominio. Los resultados muestran que Rep-MTL, incluso combinado con la política básica de ponderación igualitaria, logra ganancias competitivas en rendimiento con una eficiencia favorable. Más allá de las métricas de rendimiento estándar, el análisis del exponente de la Ley de Potencia demuestra la eficacia de Rep-MTL en equilibrar el aprendizaje específico de tareas y el intercambio entre tareas. La página del proyecto está disponible AQUÍ.

English

Despite the promise of Multi-Task Learning in leveraging complementary knowledge across tasks, existing multi-task optimization (MTO) techniques remain fixated on resolving conflicts via optimizer-centric loss scaling and gradient manipulation strategies, yet fail to deliver consistent gains. In this paper, we argue that the shared representation space, where task interactions naturally occur, offers rich information and potential for operations complementary to existing optimizers, especially for facilitating the inter-task complementarity, which is rarely explored in MTO. This intuition leads to Rep-MTL, which exploits the representation-level task saliency to quantify interactions between task-specific optimization and shared representation learning. By steering these saliencies through entropy-based penalization and sample-wise cross-task alignment, Rep-MTL aims to mitigate negative transfer by maintaining the effective training of individual tasks instead pure conflict-solving, while explicitly promoting complementary information sharing. Experiments are conducted on four challenging MTL benchmarks covering both task-shift and domain-shift scenarios. The results show that Rep-MTL, even paired with the basic equal weighting policy, achieves competitive performance gains with favorable efficiency. Beyond standard performance metrics, Power Law exponent analysis demonstrates Rep-MTL's efficacy in balancing task-specific learning and cross-task sharing. The project page is available at HERE.