Rep-MTL : Libérer la puissance de la saillance des tâches au niveau de la représentation pour l'apprentissage multitâche

Rep-MTL: Unleashing the Power of Representation-level Task Saliency for Multi-Task Learning

July 28, 2025

papers.authors: Zedong Wang, Siyuan Li, Dan Xu

cs.AI

papers.abstract

Malgré le potentiel de l'apprentissage multitâche à exploiter des connaissances complémentaires entre les tâches, les techniques existantes d'optimisation multitâche (MTO) restent focalisées sur la résolution des conflits via des stratégies de mise à l'échelle des pertes et de manipulation des gradients centrées sur l'optimiseur, sans pour autant offrir des gains systématiques. Dans cet article, nous soutenons que l'espace de représentation partagé, où les interactions entre tâches se produisent naturellement, offre des informations riches et un potentiel pour des opérations complémentaires aux optimiseurs existants, en particulier pour faciliter la complémentarité inter-tâches, un aspect rarement exploré dans le MTO. Cette intuition conduit à Rep-MTL, qui exploite la saillance des tâches au niveau des représentations pour quantifier les interactions entre l'optimisation spécifique à chaque tâche et l'apprentissage des représentations partagées. En orientant ces saillances via une pénalisation basée sur l'entropie et un alignement inter-tâches échantillon par échantillon, Rep-MTL vise à atténuer le transfert négatif en maintenant un entraînement efficace des tâches individuelles plutôt qu'une simple résolution de conflits, tout en favorisant explicitement le partage d'informations complémentaires. Des expériences sont menées sur quatre benchmarks MTL complexes couvrant à la fois des scénarios de décalage de tâches et de domaine. Les résultats montrent que Rep-MTL, même associé à une politique de pondération égale de base, obtient des gains de performance compétitifs avec une efficacité favorable. Au-delà des métriques de performance standard, une analyse des exposants de la loi de puissance démontre l'efficacité de Rep-MTL à équilibrer l'apprentissage spécifique à chaque tâche et le partage inter-tâches. La page du projet est disponible ICI.

English

Despite the promise of Multi-Task Learning in leveraging complementary knowledge across tasks, existing multi-task optimization (MTO) techniques remain fixated on resolving conflicts via optimizer-centric loss scaling and gradient manipulation strategies, yet fail to deliver consistent gains. In this paper, we argue that the shared representation space, where task interactions naturally occur, offers rich information and potential for operations complementary to existing optimizers, especially for facilitating the inter-task complementarity, which is rarely explored in MTO. This intuition leads to Rep-MTL, which exploits the representation-level task saliency to quantify interactions between task-specific optimization and shared representation learning. By steering these saliencies through entropy-based penalization and sample-wise cross-task alignment, Rep-MTL aims to mitigate negative transfer by maintaining the effective training of individual tasks instead pure conflict-solving, while explicitly promoting complementary information sharing. Experiments are conducted on four challenging MTL benchmarks covering both task-shift and domain-shift scenarios. The results show that Rep-MTL, even paired with the basic equal weighting policy, achieves competitive performance gains with favorable efficiency. Beyond standard performance metrics, Power Law exponent analysis demonstrates Rep-MTL's efficacy in balancing task-specific learning and cross-task sharing. The project page is available at HERE.