OneRank: Унифицированная нативная Transformer-архитектура ранжирования для многозадачной рекомендации

Аннотация

Многоцелевое обучение (MTL) играет ключевую роль в рекомендательных системах, позволяя осуществлять взаимодополняющее обучение на основе разнообразной обратной связи от пользователей. Хотя современные промышленные практики перешли от ГНС к архитектурам на основе Transformer для усиления моделирования последовательностей и масштабируемости, они по-прежнему разделяют кодирование признаков и многозадачное прогнозирование, рассматривая Transformer как независимый от задачи кодировщик. Такой подход принципиально ограничивает производительность и масштабируемость из-за: (1) создания информационного узкого места при гетерогенных целевых задачах, (2) возникновения градиентной интерференции, приводящей к феномену качелей, и (3) принудительного перехода потока данных, при котором основанное на внимании контекстно-адаптивное обучение представлений преобразуется в статическое прямое прогнозирование задач с несовместимой динамикой чтения-записи информации. Мы предлагаем OneRank — основанный на Transformer единый фреймворк многозадачного ранжирования, который устраняет разделение кодировщика и предиктора и вводит частные для задачи каналы для прямого обучения представлений и обратной оптимизации, обеспечивая специализированное обучение для каждой задачи при одновременном снижении межзадачной интерференции. На прямом проходе OneRank снизу вверх изучает представления, специфичные для задачи, с помощью управляемого задачей отбора информации, контекстуализации с учетом кандидатов и контролируемого межзадачного взаимодействия. На обратном проходе межзадачное открепление градиента изолирует обновления частных для задачи параметров от модулей извлечения общих знаний, предотвращая отрицательный перенос. Кроме того, мы заменяем статические многослойные перцептронные скореры, специфичные для задачи, динамической оценкой на основе сопоставления для контекстно-зависимого персонализированного ранжирования. Интегрируя многозадачный вывод непосредственно в стек Transformer, OneRank создает единую и масштабируемую архитектурную парадигму. Офлайн- и онлайн-эксперименты на крупномасштабных промышленных наборах данных показывают, что OneRank значительно превосходит современные базовые модели, сохраняя при этом вычислительную эффективность.

English

Multi-task learning (MTL) is essential in recommender systems to enable complementary learning among diverse user feedback. While modern industrial practices have shifted from DNNs to Transformer-centric architectures to strengthen sequence modeling and scaling capacity, they still decouple feature encoding from multi-task prediction, treating the Transformer as a task-agnostic encoder. This design fundamentally limits the performance and scalability by (1) creating an information bottleneck under heterogeneous task objectives, (2) inducing gradient interference that leads to the seesaw phenomenon, and (3) forcing a dataflow transition in which attention-based, context-adaptive representation learning is converted to static feed-forward task prediction with incompatible information read-write dynamics. We propose OneRank, a Transformer-native multi-task ranking framework that eliminates encoder-predictor separation and introduces task-private channels for forward representation learning and backward optimization, enabling task-specialized learning while reducing inter-task interference. In the forward pass, OneRank learns task-specific representations bottom-up through task-conditioned information selection, candidate-aware contextualization, and controlled cross-task interaction. In the backward pass, cross-task gradient detachment isolates task-private parameter updates from shared knowledge extraction modules, preventing negative transfer. We further replace static task-specific MLP scorers with dynamic matching-based scoring for context-aware personalized ranking. By internalizing multi-task reasoning within the Transformer stack, OneRank establishes a unified and scalable architectural paradigm. Offline and online experiments on large-scale industrial datasets show that OneRank significantly outperforms state-of-the-art baselines while maintaining computational efficiency.