OneRank: 統一されたTransformerネイティブランキングアーキテクチャによるマルチタスク推薦

要旨

マルチタスク学習（MTL）は、多様なユーザフィードバック間での相補的な学習を実現するために、レコメンダシステムにおいて不可欠である。現代の産業実践では、系列モデリングとスケーリング能力を強化するために、DNNからTransformer中心のアーキテクチャへと移行しているものの、依然として特徴符号化とマルチタスク予測を分離しており、Transformerをタスク非依存のエンコーダとして扱っている。この設計は、(1) 異種のタスク目的の下で情報ボトルネックを生み出し、(2) 勾配干渉を誘発してシーソー現象を引き起こし、(3) 注意機構に基づく文脈適応型表現学習を、非互換な情報読み書きダイナミクスを持つ静的フィードフォワードタスク予測へと変換するデータフロー遷移を強制することにより、根本的に性能とスケーラビリティを制限している。我々はOneRankを提案する。これはTransformerネイティブなマルチタスクランキングフレームワークであり、エンコーダと予測器の分離を排除し、順方向表現学習と逆方向最適化のためのタスクプライベートチャネルを導入することで、タスク特殊化学習を可能にしつつタスク間干渉を低減する。順方向パスでは、OneRankはタスク条件付き情報選択、候補認識文脈化、および制御されたタスク間相互作用を通じて、ボトムアップにタスク固有の表現を学習する。逆方向パスでは、タスク間の勾配分離により、タスクプライベートなパラメータ更新を共有知識抽出モジュールから隔離し、負の転移を防止する。さらに、静的なタスク固有MLPスコアラを動的マッチングベースのスコアリングに置き換え、文脈認識型のパーソナライズドランキングを実現する。Transformerスタック内にマルチタスク推論を内在化することにより、OneRankは統一されスケーラブルなアーキテクチャパラダイムを確立する。大規模産業データセットを用いたオフラインおよびオンライン実験により、OneRankが計算効率を維持しながら最先端のベースラインを大幅に上回る性能を示すことを確認した。

English

Multi-task learning (MTL) is essential in recommender systems to enable complementary learning among diverse user feedback. While modern industrial practices have shifted from DNNs to Transformer-centric architectures to strengthen sequence modeling and scaling capacity, they still decouple feature encoding from multi-task prediction, treating the Transformer as a task-agnostic encoder. This design fundamentally limits the performance and scalability by (1) creating an information bottleneck under heterogeneous task objectives, (2) inducing gradient interference that leads to the seesaw phenomenon, and (3) forcing a dataflow transition in which attention-based, context-adaptive representation learning is converted to static feed-forward task prediction with incompatible information read-write dynamics. We propose OneRank, a Transformer-native multi-task ranking framework that eliminates encoder-predictor separation and introduces task-private channels for forward representation learning and backward optimization, enabling task-specialized learning while reducing inter-task interference. In the forward pass, OneRank learns task-specific representations bottom-up through task-conditioned information selection, candidate-aware contextualization, and controlled cross-task interaction. In the backward pass, cross-task gradient detachment isolates task-private parameter updates from shared knowledge extraction modules, preventing negative transfer. We further replace static task-specific MLP scorers with dynamic matching-based scoring for context-aware personalized ranking. By internalizing multi-task reasoning within the Transformer stack, OneRank establishes a unified and scalable architectural paradigm. Offline and online experiments on large-scale industrial datasets show that OneRank significantly outperforms state-of-the-art baselines while maintaining computational efficiency.