Rep-MTL: Sfruttare il Potenziale della Salienza delle Attività a Livello di Rappresentazione per l'Apprendimento Multi-Task

Rep-MTL: Unleashing the Power of Representation-level Task Saliency for Multi-Task Learning

July 28, 2025

Autori: Zedong Wang, Siyuan Li, Dan Xu

cs.AI

Abstract

Nonostante le promesse dell'Apprendimento Multi-Task nel sfruttare conoscenze complementari tra i task, le tecniche esistenti di ottimizzazione multi-task (MTO) rimangono focalizzate sulla risoluzione dei conflitti attraverso strategie di scalatura delle perdite e manipolazione dei gradienti centrate sull'ottimizzatore, senza tuttavia garantire miglioramenti consistenti. In questo articolo, sosteniamo che lo spazio di rappresentazione condiviso, dove avvengono naturalmente le interazioni tra i task, offra informazioni ricche e potenzialità per operazioni complementari agli ottimizzatori esistenti, in particolare per facilitare la complementarità inter-task, raramente esplorata nell'MTO. Questa intuizione porta a Rep-MTL, che sfrutta la salienza dei task a livello di rappresentazione per quantificare le interazioni tra l'ottimizzazione specifica per task e l'apprendimento della rappresentazione condivisa. Orientando queste salienze attraverso penalizzazioni basate sull'entropia e allineamenti campione-per-campione tra i task, Rep-MTL mira a mitigare il trasferimento negativo mantenendo un addestramento efficace dei singoli task anziché concentrarsi esclusivamente sulla risoluzione dei conflitti, promuovendo esplicitamente la condivisione di informazioni complementari. Gli esperimenti sono condotti su quattro benchmark MTL impegnativi, che coprono sia scenari di task-shift che di domain-shift. I risultati mostrano che Rep-MTL, anche abbinato alla semplice politica di ponderazione uniforme, raggiunge miglioramenti competitivi con un'efficienza favorevole. Oltre alle metriche di prestazione standard, l'analisi dell'esponente della Legge di Potenza dimostra l'efficacia di Rep-MTL nel bilanciare l'apprendimento specifico per task e la condivisione inter-task. La pagina del progetto è disponibile QUI.

English

Despite the promise of Multi-Task Learning in leveraging complementary knowledge across tasks, existing multi-task optimization (MTO) techniques remain fixated on resolving conflicts via optimizer-centric loss scaling and gradient manipulation strategies, yet fail to deliver consistent gains. In this paper, we argue that the shared representation space, where task interactions naturally occur, offers rich information and potential for operations complementary to existing optimizers, especially for facilitating the inter-task complementarity, which is rarely explored in MTO. This intuition leads to Rep-MTL, which exploits the representation-level task saliency to quantify interactions between task-specific optimization and shared representation learning. By steering these saliencies through entropy-based penalization and sample-wise cross-task alignment, Rep-MTL aims to mitigate negative transfer by maintaining the effective training of individual tasks instead pure conflict-solving, while explicitly promoting complementary information sharing. Experiments are conducted on four challenging MTL benchmarks covering both task-shift and domain-shift scenarios. The results show that Rep-MTL, even paired with the basic equal weighting policy, achieves competitive performance gains with favorable efficiency. Beyond standard performance metrics, Power Law exponent analysis demonstrates Rep-MTL's efficacy in balancing task-specific learning and cross-task sharing. The project page is available at HERE.