LiRank: LinkedInにおける産業規模の大規模ランキングモデル

LiRank: Industrial Large Scale Ranking Models at LinkedIn

February 10, 2024

著者: Fedor Borisyuk, Mingzhou Zhou, Qingquan Song, Siyu Zhu, Birjodh Tiwana, Ganesh Parameswaran, Siddharth Dangi, Lars Hertel, Qiang Xiao, Xiaochen Hou, Yunbo Ouyang, Aman Gupta, Sheallika Singh, Dan Liu, Hailing Cheng, Lei Le, Jonathan Hung, Sathiya Keerthi, Ruoyan Wang, Fengyu Zhang, Mohit Kothari, Chen Zhu, Daqi Sun, Yun Dai, Xun Luan, Sirou Zhu, Zhiwei Wang, Neil Daftary, Qianqi Shen, Chengming Jiang, Haichao Wei, Maneesh Varshney, Amol Ghoting, Souvik Ghosh

cs.AI

要旨

LinkedInにおいて、最先端のモデルアーキテクチャと最適化手法を実運用に導入する大規模ランキングフレームワーク「LiRank」を発表します。本フレームワークでは、Residual DCNを含む複数のモデリング改善を提案します。Residual DCNは、有名なDCNv2アーキテクチャにアテンションと残差接続を追加したものです。Dense Gating、Transformers、Residual DCNといった最先端アーキテクチャを組み合わせて調整し、統一モデルを構築するための洞察を共有します。また、キャリブレーションのための新技術を提案し、深層学習ベースの探索/活用手法を実運用化した方法について説明します。大規模ランキングモデルの効果的で実運用レベルの提供を可能にするため、量子化と語彙圧縮を用いたモデルの学習と圧縮の詳細を解説します。フィードランキング、ジョブレコメンデーション、広告クリック率（CTR）予測といった大規模ユースケースのためのデプロイメント設定についても詳細を提供します。各種A/Bテストから得られた知見をまとめ、最も効果的な技術的アプローチを明らかにします。これらのアイデアは、LinkedIn全体で相対的な指標改善に貢献しました：フィードでのメンバーセッション+0.5%、ジョブ検索とレコメンデーションでの適格な求人応募+1.76%、広告CTR+4.3%です。本論文が、大規模な深層ランキングシステムを活用したい実務者にとって実践的な洞察とソリューションを提供できることを期待しています。

English

We present LiRank, a large-scale ranking framework at LinkedIn that brings to production state-of-the-art modeling architectures and optimization methods. We unveil several modeling improvements, including Residual DCN, which adds attention and residual connections to the famous DCNv2 architecture. We share insights into combining and tuning SOTA architectures to create a unified model, including Dense Gating, Transformers and Residual DCN. We also propose novel techniques for calibration and describe how we productionalized deep learning based explore/exploit methods. To enable effective, production-grade serving of large ranking models, we detail how to train and compress models using quantization and vocabulary compression. We provide details about the deployment setup for large-scale use cases of Feed ranking, Jobs Recommendations, and Ads click-through rate (CTR) prediction. We summarize our learnings from various A/B tests by elucidating the most effective technical approaches. These ideas have contributed to relative metrics improvements across the board at LinkedIn: +0.5% member sessions in the Feed, +1.76% qualified job applications for Jobs search and recommendations, and +4.3% for Ads CTR. We hope this work can provide practical insights and solutions for practitioners interested in leveraging large-scale deep ranking systems.