LiRank: Modelos de Clasificación a Gran Escala Industrial en LinkedIn

LiRank: Industrial Large Scale Ranking Models at LinkedIn

February 10, 2024

Autores: Fedor Borisyuk, Mingzhou Zhou, Qingquan Song, Siyu Zhu, Birjodh Tiwana, Ganesh Parameswaran, Siddharth Dangi, Lars Hertel, Qiang Xiao, Xiaochen Hou, Yunbo Ouyang, Aman Gupta, Sheallika Singh, Dan Liu, Hailing Cheng, Lei Le, Jonathan Hung, Sathiya Keerthi, Ruoyan Wang, Fengyu Zhang, Mohit Kothari, Chen Zhu, Daqi Sun, Yun Dai, Xun Luan, Sirou Zhu, Zhiwei Wang, Neil Daftary, Qianqi Shen, Chengming Jiang, Haichao Wei, Maneesh Varshney, Amol Ghoting, Souvik Ghosh

cs.AI

Resumen

Presentamos LiRank, un marco de clasificación a gran escala en LinkedIn que lleva a producción arquitecturas de modelado y métodos de optimización de vanguardia. Revelamos varias mejoras en el modelado, incluyendo Residual DCN, que añade conexiones de atención y residuales a la famosa arquitectura DCNv2. Compartimos ideas sobre cómo combinar y ajustar arquitecturas SOTA para crear un modelo unificado, incluyendo Dense Gating, Transformers y Residual DCN. También proponemos técnicas novedosas para la calibración y describimos cómo llevamos a producción métodos de exploración/explotación basados en aprendizaje profundo. Para permitir un servicio efectivo y de nivel productivo para modelos de clasificación grandes, detallamos cómo entrenar y comprimir modelos usando cuantización y compresión de vocabulario. Proporcionamos detalles sobre la configuración de despliegue para casos de uso a gran escala en la clasificación del Feed, recomendaciones de empleo y predicción de la tasa de clics (CTR) en anuncios. Resumimos nuestros aprendizajes de varias pruebas A/B al elucidar los enfoques técnicos más efectivos. Estas ideas han contribuido a mejoras relativas en las métricas en LinkedIn: +0.5% en sesiones de miembros en el Feed, +1.76% en solicitudes de empleo calificadas para búsqueda y recomendaciones de empleo, y +4.3% en CTR de anuncios. Esperamos que este trabajo pueda proporcionar ideas prácticas y soluciones para profesionales interesados en aprovechar sistemas de clasificación profunda a gran escala.

English

We present LiRank, a large-scale ranking framework at LinkedIn that brings to production state-of-the-art modeling architectures and optimization methods. We unveil several modeling improvements, including Residual DCN, which adds attention and residual connections to the famous DCNv2 architecture. We share insights into combining and tuning SOTA architectures to create a unified model, including Dense Gating, Transformers and Residual DCN. We also propose novel techniques for calibration and describe how we productionalized deep learning based explore/exploit methods. To enable effective, production-grade serving of large ranking models, we detail how to train and compress models using quantization and vocabulary compression. We provide details about the deployment setup for large-scale use cases of Feed ranking, Jobs Recommendations, and Ads click-through rate (CTR) prediction. We summarize our learnings from various A/B tests by elucidating the most effective technical approaches. These ideas have contributed to relative metrics improvements across the board at LinkedIn: +0.5% member sessions in the Feed, +1.76% qualified job applications for Jobs search and recommendations, and +4.3% for Ads CTR. We hope this work can provide practical insights and solutions for practitioners interested in leveraging large-scale deep ranking systems.