LiRank: Industrielle Large-Scale-Ranking-Modelle bei LinkedIn

LiRank: Industrial Large Scale Ranking Models at LinkedIn

February 10, 2024

Autoren: Fedor Borisyuk, Mingzhou Zhou, Qingquan Song, Siyu Zhu, Birjodh Tiwana, Ganesh Parameswaran, Siddharth Dangi, Lars Hertel, Qiang Xiao, Xiaochen Hou, Yunbo Ouyang, Aman Gupta, Sheallika Singh, Dan Liu, Hailing Cheng, Lei Le, Jonathan Hung, Sathiya Keerthi, Ruoyan Wang, Fengyu Zhang, Mohit Kothari, Chen Zhu, Daqi Sun, Yun Dai, Xun Luan, Sirou Zhu, Zhiwei Wang, Neil Daftary, Qianqi Shen, Chengming Jiang, Haichao Wei, Maneesh Varshney, Amol Ghoting, Souvik Ghosh

cs.AI

Zusammenfassung

Wir präsentieren LiRank, ein groß angelegtes Ranking-Framework bei LinkedIn, das modernste Modellarchitekturen und Optimierungsmethoden in die Produktion bringt. Wir enthüllen mehrere Modellverbesserungen, darunter Residual DCN, das Aufmerksamkeitsmechanismen und Residualverbindungen zur bekannten DCNv2-Architektur hinzufügt. Wir teilen Erkenntnisse über die Kombination und Feinabstimmung von State-of-the-Art (SOTA)-Architekturen zur Erstellung eines einheitlichen Modells, einschließlich Dense Gating, Transformers und Residual DCN. Wir schlagen auch neuartige Techniken zur Kalibrierung vor und beschreiben, wie wir Deep-Learning-basierte Explore/Exploit-Methoden in die Produktion überführt haben. Um eine effektive, produktionsreife Bereitstellung großer Ranking-Modelle zu ermöglichen, erläutern wir, wie Modelle durch Quantisierung und Vokabularkompression trainiert und komprimiert werden können. Wir geben Einzelheiten über die Bereitstellungsumgebung für groß angelegte Anwendungsfälle wie Feed-Ranking, Job-Empfehlungen und die Vorhersage der Klickrate (CTR) bei Anzeigen. Wir fassen unsere Erkenntnisse aus verschiedenen A/B-Tests zusammen, indem wir die effektivsten technischen Ansätze erläutern. Diese Ideen haben zu relativen Verbesserungen der Kennzahlen bei LinkedIn geführt: +0,5 % bei den Mitgliedersitzungen im Feed, +1,76 % bei qualifizierten Bewerbungen für die Jobsuche und -empfehlungen sowie +4,3 % bei der CTR von Anzeigen. Wir hoffen, dass diese Arbeit praktische Einblicke und Lösungen für Praktiker bietet, die groß angelegte Deep-Ranking-Systeme nutzen möchten.

English

We present LiRank, a large-scale ranking framework at LinkedIn that brings to production state-of-the-art modeling architectures and optimization methods. We unveil several modeling improvements, including Residual DCN, which adds attention and residual connections to the famous DCNv2 architecture. We share insights into combining and tuning SOTA architectures to create a unified model, including Dense Gating, Transformers and Residual DCN. We also propose novel techniques for calibration and describe how we productionalized deep learning based explore/exploit methods. To enable effective, production-grade serving of large ranking models, we detail how to train and compress models using quantization and vocabulary compression. We provide details about the deployment setup for large-scale use cases of Feed ranking, Jobs Recommendations, and Ads click-through rate (CTR) prediction. We summarize our learnings from various A/B tests by elucidating the most effective technical approaches. These ideas have contributed to relative metrics improvements across the board at LinkedIn: +0.5% member sessions in the Feed, +1.76% qualified job applications for Jobs search and recommendations, and +4.3% for Ads CTR. We hope this work can provide practical insights and solutions for practitioners interested in leveraging large-scale deep ranking systems.