Rep-MTL: マルチタスク学習における表現レベルのタスク重要度の力を解き放つ

Rep-MTL: Unleashing the Power of Representation-level Task Saliency for Multi-Task Learning

July 28, 2025

著者: Zedong Wang, Siyuan Li, Dan Xu

cs.AI

要旨

マルチタスク学習がタスク間の補完的な知識を活用する可能性にもかかわらず、既存のマルチタスク最適化（MTO）技術は、オプティマイザ中心の損失スケーリングや勾配操作戦略による衝突解決に固執しており、一貫した性能向上をもたらすことに失敗しています。本論文では、タスク間の相互作用が自然に発生する共有表現空間が、既存のオプティマイザを補完する操作のための豊富な情報と可能性を提供し、特にMTOではほとんど探索されていないタスク間の補完性を促進する可能性があると主張します。この直感から、Rep-MTLが導かれます。Rep-MTLは、表現レベルのタスク顕著性を利用して、タスク固有の最適化と共有表現学習の間の相互作用を定量化します。エントロピーベースのペナルティとサンプル単位のクロスタスクアラインメントを通じてこれらの顕著性を導くことで、Rep-MTLは純粋な衝突解決ではなく、個々のタスクの効果的なトレーニングを維持することで負の転移を軽減し、補完的な情報共有を明示的に促進することを目指します。実験は、タスクシフトとドメインシフトの両方のシナリオをカバーする4つの挑戦的なMTLベンチマークで実施されました。結果は、基本的な均等重み付けポリシーと組み合わせたRep-MTLでも、競争力のある性能向上と良好な効率性を達成することを示しています。標準的な性能指標を超えて、Power Law指数分析は、Rep-MTLがタスク固有の学習とクロスタスク共有のバランスを取る効果を実証しています。プロジェクトページはHEREで利用可能です。

English

Despite the promise of Multi-Task Learning in leveraging complementary knowledge across tasks, existing multi-task optimization (MTO) techniques remain fixated on resolving conflicts via optimizer-centric loss scaling and gradient manipulation strategies, yet fail to deliver consistent gains. In this paper, we argue that the shared representation space, where task interactions naturally occur, offers rich information and potential for operations complementary to existing optimizers, especially for facilitating the inter-task complementarity, which is rarely explored in MTO. This intuition leads to Rep-MTL, which exploits the representation-level task saliency to quantify interactions between task-specific optimization and shared representation learning. By steering these saliencies through entropy-based penalization and sample-wise cross-task alignment, Rep-MTL aims to mitigate negative transfer by maintaining the effective training of individual tasks instead pure conflict-solving, while explicitly promoting complementary information sharing. Experiments are conducted on four challenging MTL benchmarks covering both task-shift and domain-shift scenarios. The results show that Rep-MTL, even paired with the basic equal weighting policy, achieves competitive performance gains with favorable efficiency. Beyond standard performance metrics, Power Law exponent analysis demonstrates Rep-MTL's efficacy in balancing task-specific learning and cross-task sharing. The project page is available at HERE.