Rep-MTL: Entfesselung der Kraft der Repräsentationsebenen-Aufgaben-Salienz für Multi-Task-Learning

Rep-MTL: Unleashing the Power of Representation-level Task Saliency for Multi-Task Learning

July 28, 2025

papers.authors: Zedong Wang, Siyuan Li, Dan Xu

cs.AI

papers.abstract

Trotz des Potenzials von Multi-Task Learning, komplementäres Wissen über Aufgaben hinweg zu nutzen, konzentrieren sich bestehende Multi-Task-Optimierungstechniken (MTO) weiterhin darauf, Konflikte durch optimierungszentrierte Verlustskalierung und Gradientenmanipulationsstrategien zu lösen, erzielen jedoch keine konsistenten Verbesserungen. In diesem Artikel argumentieren wir, dass der gemeinsame Repräsentationsraum, in dem Aufgabeninteraktionen natürlich stattfinden, reichhaltige Informationen und Potenzial für Operationen bietet, die bestehende Optimierer ergänzen, insbesondere um die intertask-Komplementarität zu fördern, die in MTO selten erforscht wird. Diese Intuition führt zu Rep-MTL, das die Aufgabenrelevanz auf Repräsentationsebene nutzt, um Interaktionen zwischen aufgabenspezifischer Optimierung und gemeinsamem Repräsentationslernen zu quantifizieren. Durch die Steuerung dieser Relevanzen mittels entropiebasierter Bestrafung und stichprobenweiser übergreifender Aufgabenausrichtung zielt Rep-MTL darauf ab, negativen Transfer zu minimieren, indem es die effektive Ausbildung einzelner Aufgaben anstelle reiner Konfliktlösung aufrechterhält und gleichzeitig den Austausch komplementärer Informationen explizit fördert. Experimente werden auf vier anspruchsvollen MTL-Benchmarks durchgeführt, die sowohl Aufgabenverschiebungen als auch Domänenverschiebungen abdecken. Die Ergebnisse zeigen, dass Rep-MTL, selbst in Kombination mit der grundlegenden Gleichgewichtungsstrategie, wettbewerbsfähige Leistungssteigerungen bei günstiger Effizienz erzielt. Über die Standardleistungsmetriken hinaus zeigt eine Power-Law-Exponentenanalyse die Wirksamkeit von Rep-MTL beim Ausgleich von aufgabenspezifischem Lernen und übergreifendem Aufgaben-Austausch. Die Projektseite ist HIER verfügbar.

English

Despite the promise of Multi-Task Learning in leveraging complementary knowledge across tasks, existing multi-task optimization (MTO) techniques remain fixated on resolving conflicts via optimizer-centric loss scaling and gradient manipulation strategies, yet fail to deliver consistent gains. In this paper, we argue that the shared representation space, where task interactions naturally occur, offers rich information and potential for operations complementary to existing optimizers, especially for facilitating the inter-task complementarity, which is rarely explored in MTO. This intuition leads to Rep-MTL, which exploits the representation-level task saliency to quantify interactions between task-specific optimization and shared representation learning. By steering these saliencies through entropy-based penalization and sample-wise cross-task alignment, Rep-MTL aims to mitigate negative transfer by maintaining the effective training of individual tasks instead pure conflict-solving, while explicitly promoting complementary information sharing. Experiments are conducted on four challenging MTL benchmarks covering both task-shift and domain-shift scenarios. The results show that Rep-MTL, even paired with the basic equal weighting policy, achieves competitive performance gains with favorable efficiency. Beyond standard performance metrics, Power Law exponent analysis demonstrates Rep-MTL's efficacy in balancing task-specific learning and cross-task sharing. The project page is available at HERE.