LiRank: Modelos de Classificação em Grande Escala Industrial no LinkedIn

LiRank: Industrial Large Scale Ranking Models at LinkedIn

February 10, 2024

Autores: Fedor Borisyuk, Mingzhou Zhou, Qingquan Song, Siyu Zhu, Birjodh Tiwana, Ganesh Parameswaran, Siddharth Dangi, Lars Hertel, Qiang Xiao, Xiaochen Hou, Yunbo Ouyang, Aman Gupta, Sheallika Singh, Dan Liu, Hailing Cheng, Lei Le, Jonathan Hung, Sathiya Keerthi, Ruoyan Wang, Fengyu Zhang, Mohit Kothari, Chen Zhu, Daqi Sun, Yun Dai, Xun Luan, Sirou Zhu, Zhiwei Wang, Neil Daftary, Qianqi Shen, Chengming Jiang, Haichao Wei, Maneesh Varshney, Amol Ghoting, Souvik Ghosh

cs.AI

Resumo

Apresentamos o LiRank, um framework de classificação em larga escala no LinkedIn que leva à produção arquiteturas de modelagem e métodos de otimização de última geração. Revelamos diversas melhorias de modelagem, incluindo o Residual DCN, que adiciona conexões de atenção e residuais à famosa arquitetura DCNv2. Compartilhamos insights sobre como combinar e ajustar arquiteturas SOTA para criar um modelo unificado, incluindo Dense Gating, Transformers e Residual DCN. Também propomos técnicas inovadoras para calibração e descrevemos como colocamos em produção métodos de exploração/exploração baseados em aprendizado profundo. Para permitir a veiculação eficaz e em nível de produção de grandes modelos de classificação, detalhamos como treinar e comprimir modelos usando quantização e compressão de vocabulário. Fornecemos detalhes sobre a configuração de implantação para casos de uso em larga escala de classificação do Feed, recomendações de Vagas e previsão de taxa de cliques (CTR) em Anúncios. Resumimos nossos aprendizados de vários testes A/B, elucidando as abordagens técnicas mais eficazes. Essas ideias contribuíram para melhorias relativas em métricas em todo o LinkedIn: +0,5% nas sessões dos membros no Feed, +1,76% em candidaturas qualificadas para busca e recomendações de Vagas, e +4,3% no CTR de Anúncios. Esperamos que este trabalho possa fornecer insights práticos e soluções para profissionais interessados em aproveitar sistemas de classificação profunda em larga escala.

English

We present LiRank, a large-scale ranking framework at LinkedIn that brings to production state-of-the-art modeling architectures and optimization methods. We unveil several modeling improvements, including Residual DCN, which adds attention and residual connections to the famous DCNv2 architecture. We share insights into combining and tuning SOTA architectures to create a unified model, including Dense Gating, Transformers and Residual DCN. We also propose novel techniques for calibration and describe how we productionalized deep learning based explore/exploit methods. To enable effective, production-grade serving of large ranking models, we detail how to train and compress models using quantization and vocabulary compression. We provide details about the deployment setup for large-scale use cases of Feed ranking, Jobs Recommendations, and Ads click-through rate (CTR) prediction. We summarize our learnings from various A/B tests by elucidating the most effective technical approaches. These ideas have contributed to relative metrics improvements across the board at LinkedIn: +0.5% member sessions in the Feed, +1.76% qualified job applications for Jobs search and recommendations, and +4.3% for Ads CTR. We hope this work can provide practical insights and solutions for practitioners interested in leveraging large-scale deep ranking systems.