Rep-MTL: Het Benutten van de Kracht van Representatieniveau Taak Saliency voor Multi-Task Leren

Rep-MTL: Unleashing the Power of Representation-level Task Saliency for Multi-Task Learning

July 28, 2025

Auteurs: Zedong Wang, Siyuan Li, Dan Xu

cs.AI

Samenvatting

Ondanks de belofte van Multi-Task Learning om complementaire kennis over taken te benutten, blijven bestaande technieken voor multi-task optimalisatie (MTO) gefocust op het oplossen van conflicten via optimizer-gerichte schaling van verliezen en manipulatie van gradienten, maar slagen ze er niet in om consistente verbeteringen te leveren. In dit artikel stellen we dat de gedeelde representatieruimte, waar taakinteracties van nature plaatsvinden, rijke informatie en potentieel biedt voor operaties die complementair zijn aan bestaande optimalisatoren, met name voor het faciliteren van inter-taak complementariteit, wat zelden wordt onderzocht in MTO. Deze intuïtie leidt tot Rep-MTL, dat de taaksalientie op representatieniveau benut om interacties tussen taakspecifieke optimalisatie en gedeeld representatie leren te kwantificeren. Door deze salienties te sturen via entropie-gebaseerde penalisatie en steekproefgewijze kruistaak-uitlijning, streeft Rep-MTL ernaar negatieve overdracht te verminderen door de effectieve training van individuele taken te behouden in plaats van puur conflictoplossing, terwijl het expliciet complementaire informatie-uitwisseling bevordert. Experimenten worden uitgevoerd op vier uitdagende MTL-benchmarks die zowel taakverschuiving als domeinverschuiving scenario's omvatten. De resultaten tonen aan dat Rep-MTL, zelfs in combinatie met het basisbeleid van gelijke weging, competitieve prestatieverbeteringen bereikt met gunstige efficiëntie. Naast standaard prestatiemetingen toont een analyse van de Power Law-exponent de effectiviteit van Rep-MTL aan in het balanceren van taakspecifiek leren en kruistaak-deling. De projectpagina is beschikbaar op HIER.

English

Despite the promise of Multi-Task Learning in leveraging complementary knowledge across tasks, existing multi-task optimization (MTO) techniques remain fixated on resolving conflicts via optimizer-centric loss scaling and gradient manipulation strategies, yet fail to deliver consistent gains. In this paper, we argue that the shared representation space, where task interactions naturally occur, offers rich information and potential for operations complementary to existing optimizers, especially for facilitating the inter-task complementarity, which is rarely explored in MTO. This intuition leads to Rep-MTL, which exploits the representation-level task saliency to quantify interactions between task-specific optimization and shared representation learning. By steering these saliencies through entropy-based penalization and sample-wise cross-task alignment, Rep-MTL aims to mitigate negative transfer by maintaining the effective training of individual tasks instead pure conflict-solving, while explicitly promoting complementary information sharing. Experiments are conducted on four challenging MTL benchmarks covering both task-shift and domain-shift scenarios. The results show that Rep-MTL, even paired with the basic equal weighting policy, achieves competitive performance gains with favorable efficiency. Beyond standard performance metrics, Power Law exponent analysis demonstrates Rep-MTL's efficacy in balancing task-specific learning and cross-task sharing. The project page is available at HERE.