Rep-MTL: 다중 작업 학습을 위한 표현 수준 작업 중요도의 힘을 발휘하기

Rep-MTL: Unleashing the Power of Representation-level Task Saliency for Multi-Task Learning

July 28, 2025

저자: Zedong Wang, Siyuan Li, Dan Xu

cs.AI

초록

다중 작업 학습(Multi-Task Learning, MTL)이 여러 작업 간 상호 보완적인 지식을 활용할 수 있다는 잠재력에도 불구하고, 기존의 다중 작업 최적화(Multi-Task Optimization, MTO) 기술들은 주로 최적화 도구 중심의 손실 스케일링 및 그래디언트 조작 전략을 통해 갈등을 해결하는 데 집중하고 있으며, 일관된 성능 향상을 제공하지 못하고 있다. 본 논문에서는 작업 간 상호작용이 자연스럽게 발생하는 공유 표현 공간이 기존 최적화 도구와 상호 보완적인 작업을 수행할 수 있는 풍부한 정보와 잠재력을 제공하며, 특히 MTO에서 거의 탐구되지 않은 작업 간 상호 보완성을 촉진할 수 있다고 주장한다. 이러한 직관은 Rep-MTL로 이어지며, Rep-MTL은 표현 수준의 작업 중요도를 활용하여 작업별 최적화와 공유 표현 학습 간의 상호작용을 정량화한다. 엔트로피 기반의 패널티와 샘플별 작업 간 정렬을 통해 이러한 중요도를 조정함으로써, Rep-MTL은 순수한 갈등 해결보다는 개별 작업의 효과적인 학습을 유지하며 부정적 전이(negative transfer)를 완화하고, 명시적으로 상호 보완적인 정보 공유를 촉진한다. 작업 변화(task-shift)와 도메인 변화(domain-shift) 시나리오를 모두 포함하는 네 가지 도전적인 MTL 벤치마크에서 실험을 수행하였다. 결과는 Rep-MTL이 기본적인 동일 가중치 정책과 함께 사용될 때도 경쟁력 있는 성능 향상과 유리한 효율성을 달성함을 보여준다. 표준 성능 지표를 넘어, 멱법칙(Power Law) 지수 분석은 Rep-MTL이 작업별 학습과 작업 간 공유를 균형 있게 조절하는 데 효과적임을 입증한다. 프로젝트 페이지는 HERE에서 확인할 수 있다.

English

Despite the promise of Multi-Task Learning in leveraging complementary knowledge across tasks, existing multi-task optimization (MTO) techniques remain fixated on resolving conflicts via optimizer-centric loss scaling and gradient manipulation strategies, yet fail to deliver consistent gains. In this paper, we argue that the shared representation space, where task interactions naturally occur, offers rich information and potential for operations complementary to existing optimizers, especially for facilitating the inter-task complementarity, which is rarely explored in MTO. This intuition leads to Rep-MTL, which exploits the representation-level task saliency to quantify interactions between task-specific optimization and shared representation learning. By steering these saliencies through entropy-based penalization and sample-wise cross-task alignment, Rep-MTL aims to mitigate negative transfer by maintaining the effective training of individual tasks instead pure conflict-solving, while explicitly promoting complementary information sharing. Experiments are conducted on four challenging MTL benchmarks covering both task-shift and domain-shift scenarios. The results show that Rep-MTL, even paired with the basic equal weighting policy, achieves competitive performance gains with favorable efficiency. Beyond standard performance metrics, Power Law exponent analysis demonstrates Rep-MTL's efficacy in balancing task-specific learning and cross-task sharing. The project page is available at HERE.