LiRank: Industriële grootschalige rangschikkingsmodellen bij LinkedIn

LiRank: Industrial Large Scale Ranking Models at LinkedIn

February 10, 2024

Auteurs: Fedor Borisyuk, Mingzhou Zhou, Qingquan Song, Siyu Zhu, Birjodh Tiwana, Ganesh Parameswaran, Siddharth Dangi, Lars Hertel, Qiang Xiao, Xiaochen Hou, Yunbo Ouyang, Aman Gupta, Sheallika Singh, Dan Liu, Hailing Cheng, Lei Le, Jonathan Hung, Sathiya Keerthi, Ruoyan Wang, Fengyu Zhang, Mohit Kothari, Chen Zhu, Daqi Sun, Yun Dai, Xun Luan, Sirou Zhu, Zhiwei Wang, Neil Daftary, Qianqi Shen, Chengming Jiang, Haichao Wei, Maneesh Varshney, Amol Ghoting, Souvik Ghosh

cs.AI

Samenvatting

We presenteren LiRank, een grootschalig rangschikkingsframework bij LinkedIn dat state-of-the-art modelarchitecturen en optimalisatiemethoden naar productie brengt. We onthullen verschillende modelverbeteringen, waaronder Residual DCN, dat aandachtmechanismen en restverbindingen toevoegt aan de bekende DCNv2-architectuur. We delen inzichten over het combineren en afstemmen van state-of-the-art-architecturen om een uniform model te creëren, waaronder Dense Gating, Transformers en Residual DCN. We stellen ook nieuwe technieken voor kalibratie voor en beschrijven hoe we deep learning-gebaseerde explore/exploit-methoden hebben geproduceerd. Om effectieve, productieklasse-serving van grote rangschikkingsmodellen mogelijk te maken, gaan we in detail in op het trainen en comprimeren van modellen met behulp van kwantisatie en vocabulairecompressie. We geven details over de implementatieopzet voor grootschalige use cases zoals Feed-rangschikking, Jobaanbevelingen en Ads click-through rate (CTR)-voorspelling. We vatten onze leerervaringen samen uit verschillende A/B-tests door de meest effectieve technische benaderingen toe te lichten. Deze ideeën hebben bijgedragen aan relatieve metrische verbeteringen bij LinkedIn: +0,5% ledensessies in de Feed, +1,76% gekwalificeerde sollicitaties voor Jobzoekopdrachten en -aanbevelingen, en +4,3% voor Ads CTR. We hopen dat dit werk praktische inzichten en oplossingen kan bieden voor professionals die geïnteresseerd zijn in het benutten van grootschalige deep ranking-systemen.

English

We present LiRank, a large-scale ranking framework at LinkedIn that brings to production state-of-the-art modeling architectures and optimization methods. We unveil several modeling improvements, including Residual DCN, which adds attention and residual connections to the famous DCNv2 architecture. We share insights into combining and tuning SOTA architectures to create a unified model, including Dense Gating, Transformers and Residual DCN. We also propose novel techniques for calibration and describe how we productionalized deep learning based explore/exploit methods. To enable effective, production-grade serving of large ranking models, we detail how to train and compress models using quantization and vocabulary compression. We provide details about the deployment setup for large-scale use cases of Feed ranking, Jobs Recommendations, and Ads click-through rate (CTR) prediction. We summarize our learnings from various A/B tests by elucidating the most effective technical approaches. These ideas have contributed to relative metrics improvements across the board at LinkedIn: +0.5% member sessions in the Feed, +1.76% qualified job applications for Jobs search and recommendations, and +4.3% for Ads CTR. We hope this work can provide practical insights and solutions for practitioners interested in leveraging large-scale deep ranking systems.