OneRank : Architecture de classement unifiée native de Transformer pour la recommandation multi-tâche

Résumé

L'apprentissage multi-tâches (AMT) est essentiel dans les systèmes de recommandation pour permettre un apprentissage complémentaire entre diverses formes de retour utilisateur. Alors que les pratiques industrielles modernes sont passées des réseaux de neurones profonds (DNN) aux architectures centrées sur les Transformers afin de renforcer la modélisation séquentielle et la capacité de passage à l'échelle, elles découplent toujours l'encodage des caractéristiques de la prédiction multi-tâches, traitant le Transformer comme un encodeur indépendant des tâches. Cette conception limite fondamentalement les performances et la capacité de passage à l'échelle en (1) créant un goulot d'étranglement informationnel sous des objectifs de tâches hétérogènes, (2) induisant une interférence de gradient qui conduit au phénomène de balancier, et (3) imposant une transition de flux de données dans laquelle l'apprentissage de représentations adaptatives au contexte fondé sur l'attention est converti en prédiction de tâches statique par propagation avant, avec des dynamiques de lecture-écriture d'informations incompatibles. Nous proposons OneRank, un cadre de classement multi-tâches natif des Transformers qui élimine la séparation encodeur-prédicteur et introduit des canaux privés aux tâches pour l'apprentissage de représentations en avant et l'optimisation en arrière, permettant un apprentissage spécialisé par tâche tout en réduisant l'interférence entre tâches. Lors du passage avant, OneRank apprend des représentations spécifiques aux tâches de manière ascendante grâce à une sélection d'informations conditionnée par la tâche, une contextualisation sensible au candidat et une interaction inter-tâches contrôlée. Lors du passage arrière, le détachement de gradient inter-tâches isole les mises à jour des paramètres privés aux tâches des modules d'extraction de connaissances partagées, empêchant ainsi le transfert négatif. Nous remplaçons en outre les prédicteurs MLP statiques et spécifiques aux tâches par une notation dynamique basée sur l'appariement pour un classement personnalisé sensible au contexte. En internalisant le raisonnement multi-tâches au sein de la pile du Transformer, OneRank établit un paradigme architectural unifié et extensible. Des expériences hors ligne et en ligne sur des ensembles de données industrielles à grande échelle montrent que OneRank surpasse significativement les bases de référence de pointe tout en maintenant une efficacité computationnelle.

English

Multi-task learning (MTL) is essential in recommender systems to enable complementary learning among diverse user feedback. While modern industrial practices have shifted from DNNs to Transformer-centric architectures to strengthen sequence modeling and scaling capacity, they still decouple feature encoding from multi-task prediction, treating the Transformer as a task-agnostic encoder. This design fundamentally limits the performance and scalability by (1) creating an information bottleneck under heterogeneous task objectives, (2) inducing gradient interference that leads to the seesaw phenomenon, and (3) forcing a dataflow transition in which attention-based, context-adaptive representation learning is converted to static feed-forward task prediction with incompatible information read-write dynamics. We propose OneRank, a Transformer-native multi-task ranking framework that eliminates encoder-predictor separation and introduces task-private channels for forward representation learning and backward optimization, enabling task-specialized learning while reducing inter-task interference. In the forward pass, OneRank learns task-specific representations bottom-up through task-conditioned information selection, candidate-aware contextualization, and controlled cross-task interaction. In the backward pass, cross-task gradient detachment isolates task-private parameter updates from shared knowledge extraction modules, preventing negative transfer. We further replace static task-specific MLP scorers with dynamic matching-based scoring for context-aware personalized ranking. By internalizing multi-task reasoning within the Transformer stack, OneRank establishes a unified and scalable architectural paradigm. Offline and online experiments on large-scale industrial datasets show that OneRank significantly outperforms state-of-the-art baselines while maintaining computational efficiency.