Rep-MTL: Раскрытие потенциала значимости задач на уровне представлений для многозадачного обучения

Rep-MTL: Unleashing the Power of Representation-level Task Saliency for Multi-Task Learning

July 28, 2025

Авторы: Zedong Wang, Siyuan Li, Dan Xu

cs.AI

Аннотация

Несмотря на перспективы многозадачного обучения (Multi-Task Learning, MTL) в использовании комплементарных знаний между задачами, существующие методы многозадачной оптимизации (Multi-Task Optimization, MTO) остаются сосредоточенными на разрешении конфликтов с помощью стратегий масштабирования потерь и манипуляции градиентами, ориентированных на оптимизатор, но не обеспечивают стабильного улучшения. В данной статье мы утверждаем, что общее пространство представлений, где естественным образом происходят взаимодействия между задачами, содержит богатую информацию и потенциал для операций, дополняющих существующие оптимизаторы, особенно для содействия комплементарности между задачами, что редко исследуется в MTO. Эта интуиция приводит к разработке Rep-MTL, который использует значимость задач на уровне представлений для количественной оценки взаимодействий между специфичной для задачи оптимизацией и обучением общих представлений. Направляя эти значимости через энтропийное штрафование и выравнивание между задачами на уровне выборок, Rep-MTL стремится смягчить негативный перенос, поддерживая эффективное обучение отдельных задач вместо чисто конфликтного разрешения, одновременно явно способствуя обмену комплементарной информацией. Эксперименты проведены на четырех сложных MTL-бенчмарках, охватывающих как сценарии сдвига задач, так и сдвига доменов. Результаты показывают, что Rep-MTL, даже в сочетании с базовой политикой равного взвешивания, достигает конкурентоспособных улучшений производительности с высокой эффективностью. Помимо стандартных метрик производительности, анализ экспоненты степенного закона демонстрирует эффективность Rep-MTL в балансировании специфичного для задачи обучения и межзадачного обмена. Страница проекта доступна по ссылке ЗДЕСЬ.

English

Despite the promise of Multi-Task Learning in leveraging complementary knowledge across tasks, existing multi-task optimization (MTO) techniques remain fixated on resolving conflicts via optimizer-centric loss scaling and gradient manipulation strategies, yet fail to deliver consistent gains. In this paper, we argue that the shared representation space, where task interactions naturally occur, offers rich information and potential for operations complementary to existing optimizers, especially for facilitating the inter-task complementarity, which is rarely explored in MTO. This intuition leads to Rep-MTL, which exploits the representation-level task saliency to quantify interactions between task-specific optimization and shared representation learning. By steering these saliencies through entropy-based penalization and sample-wise cross-task alignment, Rep-MTL aims to mitigate negative transfer by maintaining the effective training of individual tasks instead pure conflict-solving, while explicitly promoting complementary information sharing. Experiments are conducted on four challenging MTL benchmarks covering both task-shift and domain-shift scenarios. The results show that Rep-MTL, even paired with the basic equal weighting policy, achieves competitive performance gains with favorable efficiency. Beyond standard performance metrics, Power Law exponent analysis demonstrates Rep-MTL's efficacy in balancing task-specific learning and cross-task sharing. The project page is available at HERE.