LiRank : Modèles de classement à grande échelle industriels chez LinkedIn

LiRank: Industrial Large Scale Ranking Models at LinkedIn

February 10, 2024

Auteurs: Fedor Borisyuk, Mingzhou Zhou, Qingquan Song, Siyu Zhu, Birjodh Tiwana, Ganesh Parameswaran, Siddharth Dangi, Lars Hertel, Qiang Xiao, Xiaochen Hou, Yunbo Ouyang, Aman Gupta, Sheallika Singh, Dan Liu, Hailing Cheng, Lei Le, Jonathan Hung, Sathiya Keerthi, Ruoyan Wang, Fengyu Zhang, Mohit Kothari, Chen Zhu, Daqi Sun, Yun Dai, Xun Luan, Sirou Zhu, Zhiwei Wang, Neil Daftary, Qianqi Shen, Chengming Jiang, Haichao Wei, Maneesh Varshney, Amol Ghoting, Souvik Ghosh

cs.AI

Résumé

Nous présentons LiRank, un cadre de classement à grande échelle chez LinkedIn qui met en production des architectures de modélisation et des méthodes d'optimisation de pointe. Nous dévoilons plusieurs améliorations de modélisation, notamment le Residual DCN, qui ajoute des mécanismes d'attention et des connexions résiduelles à la célèbre architecture DCNv2. Nous partageons des insights sur la combinaison et le réglage d'architectures SOTA pour créer un modèle unifié, incluant le Dense Gating, les Transformers et le Residual DCN. Nous proposons également des techniques novatrices pour la calibration et décrivons comment nous avons industrialisé des méthodes d'exploration/exploitation basées sur l'apprentissage profond. Pour permettre un service efficace et de qualité production pour les grands modèles de classement, nous détaillons comment entraîner et compresser les modèles en utilisant la quantification et la compression de vocabulaire. Nous fournissons des détails sur la configuration de déploiement pour des cas d'utilisation à grande échelle tels que le classement du Fil d'actualité, les recommandations d'emplois et la prédiction du taux de clics (CTR) pour les publicités. Nous résumons nos apprentissages issus de divers tests A/B en mettant en lumière les approches techniques les plus efficaces. Ces idées ont contribué à des améliorations relatives des métriques à tous les niveaux chez LinkedIn : +0,5 % de sessions des membres dans le Fil d'actualité, +1,76 % de candidatures qualifiées pour la recherche et les recommandations d'emplois, et +4,3 % pour le CTR des publicités. Nous espérons que ce travail pourra fournir des insights pratiques et des solutions aux praticiens intéressés par l'exploitation de systèmes de classement profond à grande échelle.

English

We present LiRank, a large-scale ranking framework at LinkedIn that brings to production state-of-the-art modeling architectures and optimization methods. We unveil several modeling improvements, including Residual DCN, which adds attention and residual connections to the famous DCNv2 architecture. We share insights into combining and tuning SOTA architectures to create a unified model, including Dense Gating, Transformers and Residual DCN. We also propose novel techniques for calibration and describe how we productionalized deep learning based explore/exploit methods. To enable effective, production-grade serving of large ranking models, we detail how to train and compress models using quantization and vocabulary compression. We provide details about the deployment setup for large-scale use cases of Feed ranking, Jobs Recommendations, and Ads click-through rate (CTR) prediction. We summarize our learnings from various A/B tests by elucidating the most effective technical approaches. These ideas have contributed to relative metrics improvements across the board at LinkedIn: +0.5% member sessions in the Feed, +1.76% qualified job applications for Jobs search and recommendations, and +4.3% for Ads CTR. We hope this work can provide practical insights and solutions for practitioners interested in leveraging large-scale deep ranking systems.