LiRank: LinkedIn의 산업 규모 랭킹 모델

LiRank: Industrial Large Scale Ranking Models at LinkedIn

February 10, 2024

저자: Fedor Borisyuk, Mingzhou Zhou, Qingquan Song, Siyu Zhu, Birjodh Tiwana, Ganesh Parameswaran, Siddharth Dangi, Lars Hertel, Qiang Xiao, Xiaochen Hou, Yunbo Ouyang, Aman Gupta, Sheallika Singh, Dan Liu, Hailing Cheng, Lei Le, Jonathan Hung, Sathiya Keerthi, Ruoyan Wang, Fengyu Zhang, Mohit Kothari, Chen Zhu, Daqi Sun, Yun Dai, Xun Luan, Sirou Zhu, Zhiwei Wang, Neil Daftary, Qianqi Shen, Chengming Jiang, Haichao Wei, Maneesh Varshney, Amol Ghoting, Souvik Ghosh

cs.AI

초록

우리는 LinkedIn에서 최신 모델링 아키텍처와 최적화 방법을 프로덕션에 도입한 대규모 랭킹 프레임워크인 LiRank를 소개합니다. 주목할 만한 모델링 개선 사항을 공개하는데, 특히 유명한 DCNv2 아키텍처에 어텐션과 잔차 연결을 추가한 Residual DCN을 포함합니다. SOTA 아키텍처를 결합하고 튜닝하여 통합 모델을 만드는 방법에 대한 통찰을 공유하며, 여기에는 Dense Gating, Transformers, Residual DCN이 포함됩니다. 또한, 캘리브레이션을 위한 새로운 기법을 제안하고 딥러닝 기반 탐색/활용 방법을 프로덕션화한 과정을 설명합니다. 대규모 랭킹 모델의 효과적이고 프로덕션 등급의 서빙을 가능하게 하기 위해, 양자화와 어휘 압축을 사용하여 모델을 훈련하고 압축하는 방법을 상세히 설명합니다. 피드 랭킹, 직업 추천, 광고 클릭률(CTR) 예측과 같은 대규모 사용 사례를 위한 배포 설정에 대한 세부 정보를 제공합니다. 다양한 A/B 테스트에서 얻은 교훈을 요약하며 가장 효과적인 기술적 접근 방식을 명확히 설명합니다. 이러한 아이디어는 LinkedIn 전반에 걸쳐 상대 지표 개선에 기여했습니다: 피드에서 회원 세션 +0.5%, 직업 검색 및 추천에서 자격을 갖춘 직업 지원 +1.76%, 광고 CTR에서 +4.3%의 성과를 달성했습니다. 이 연구가 대규모 딥 랭킹 시스템을 활용하고자 하는 실무자들에게 실용적인 통찰과 해결책을 제공할 수 있기를 바랍니다.

English

We present LiRank, a large-scale ranking framework at LinkedIn that brings to production state-of-the-art modeling architectures and optimization methods. We unveil several modeling improvements, including Residual DCN, which adds attention and residual connections to the famous DCNv2 architecture. We share insights into combining and tuning SOTA architectures to create a unified model, including Dense Gating, Transformers and Residual DCN. We also propose novel techniques for calibration and describe how we productionalized deep learning based explore/exploit methods. To enable effective, production-grade serving of large ranking models, we detail how to train and compress models using quantization and vocabulary compression. We provide details about the deployment setup for large-scale use cases of Feed ranking, Jobs Recommendations, and Ads click-through rate (CTR) prediction. We summarize our learnings from various A/B tests by elucidating the most effective technical approaches. These ideas have contributed to relative metrics improvements across the board at LinkedIn: +0.5% member sessions in the Feed, +1.76% qualified job applications for Jobs search and recommendations, and +4.3% for Ads CTR. We hope this work can provide practical insights and solutions for practitioners interested in leveraging large-scale deep ranking systems.