LiRank: Modelli di Ranking su Scala Industriale su LinkedIn

LiRank: Industrial Large Scale Ranking Models at LinkedIn

February 10, 2024

Autori: Fedor Borisyuk, Mingzhou Zhou, Qingquan Song, Siyu Zhu, Birjodh Tiwana, Ganesh Parameswaran, Siddharth Dangi, Lars Hertel, Qiang Xiao, Xiaochen Hou, Yunbo Ouyang, Aman Gupta, Sheallika Singh, Dan Liu, Hailing Cheng, Lei Le, Jonathan Hung, Sathiya Keerthi, Ruoyan Wang, Fengyu Zhang, Mohit Kothari, Chen Zhu, Daqi Sun, Yun Dai, Xun Luan, Sirou Zhu, Zhiwei Wang, Neil Daftary, Qianqi Shen, Chengming Jiang, Haichao Wei, Maneesh Varshney, Amol Ghoting, Souvik Ghosh

cs.AI

Abstract

Presentiamo LiRank, un framework di ranking su larga scala sviluppato da LinkedIn che porta in produzione architetture di modellazione e metodi di ottimizzazione all'avanguardia. Riveliamo diversi miglioramenti nella modellazione, tra cui il Residual DCN, che aggiunge connessioni di attenzione e residui alla famosa architettura DCNv2. Condividiamo approfondimenti su come combinare e ottimizzare architetture SOTA per creare un modello unificato, includendo Dense Gating, Transformers e Residual DCN. Proponiamo inoltre tecniche innovative per la calibrazione e descriviamo come abbiamo messo in produzione metodi di esplorazione/sfruttamento basati sul deep learning. Per consentire un servizio efficace e di livello produttivo per modelli di ranking di grandi dimensioni, dettagliamo come addestrare e comprimere i modelli utilizzando la quantizzazione e la compressione del vocabolario. Forniamo dettagli sulla configurazione di distribuzione per casi d'uso su larga scala come il ranking del Feed, le raccomandazioni di lavoro e la previsione del tasso di clic (CTR) per gli annunci. Riassumiamo le nostre esperienze derivanti da vari test A/B, evidenziando gli approcci tecnici più efficaci. Queste idee hanno contribuito a miglioramenti relativi delle metriche in tutto LinkedIn: +0,5% nelle sessioni dei membri nel Feed, +1,76% nelle candidature qualificate per la ricerca e le raccomandazioni di lavoro e +4,3% nel CTR degli annunci. Speriamo che questo lavoro possa fornire spunti pratici e soluzioni per i professionisti interessati a sfruttare sistemi di ranking su larga scala basati sul deep learning.

English

We present LiRank, a large-scale ranking framework at LinkedIn that brings to production state-of-the-art modeling architectures and optimization methods. We unveil several modeling improvements, including Residual DCN, which adds attention and residual connections to the famous DCNv2 architecture. We share insights into combining and tuning SOTA architectures to create a unified model, including Dense Gating, Transformers and Residual DCN. We also propose novel techniques for calibration and describe how we productionalized deep learning based explore/exploit methods. To enable effective, production-grade serving of large ranking models, we detail how to train and compress models using quantization and vocabulary compression. We provide details about the deployment setup for large-scale use cases of Feed ranking, Jobs Recommendations, and Ads click-through rate (CTR) prediction. We summarize our learnings from various A/B tests by elucidating the most effective technical approaches. These ideas have contributed to relative metrics improvements across the board at LinkedIn: +0.5% member sessions in the Feed, +1.76% qualified job applications for Jobs search and recommendations, and +4.3% for Ads CTR. We hope this work can provide practical insights and solutions for practitioners interested in leveraging large-scale deep ranking systems.