Comprendre la mise à l'échelle des embeddings dans le filtrage collaboratif

Understanding Embedding Scaling in Collaborative Filtering

September 19, 2025

papers.authors: Zhuangzhuang He, Zhou Kaiyu, Haoyue Bai, Fengbin Zhu, Yonghui Yang

cs.AI

papers.abstract

La mise à l'échelle des modèles de recommandation en modèles de recommandation de grande taille est devenue l'un des sujets les plus largement discutés. Les efforts récents se concentrent sur des composants au-delà de la dimension d'embedding, car il est supposé que la mise à l'échelle des embeddings pourrait entraîner une dégradation des performances. Bien que certaines observations initiales aient été faites concernant les embeddings, la cause profonde de leur non-scalabilité reste incertaine. De plus, la question de savoir si la dégradation des performances se produit à travers différents types de modèles et de jeux de données reste un domaine inexploré. Concernant l'effet des dimensions d'embedding sur les performances, nous menons des expériences à grande échelle sur 10 jeux de données avec des niveaux de sparsité et des échelles variés, en utilisant 4 architectures classiques représentatives. Nous observons de manière surprenante deux phénomènes nouveaux : le double pic et le logarithmique. Pour le premier, à mesure que la dimension d'embedding augmente, les performances s'améliorent d'abord, puis déclinent, remontent à nouveau, et finissent par chuter. Pour le second, il présente une courbe logarithmique parfaite. Nos contributions sont triples. Premièrement, nous découvrons deux phénomènes nouveaux lors de la mise à l'échelle des modèles de filtrage collaboratif. Deuxièmement, nous comprenons les causes sous-jacentes du phénomène de double pic. Enfin, nous analysons théoriquement la robustesse au bruit des modèles de filtrage collaboratif, avec des résultats correspondant aux observations empiriques.

English

Scaling recommendation models into large recommendation models has become one of the most widely discussed topics. Recent efforts focus on components beyond the scaling embedding dimension, as it is believed that scaling embedding may lead to performance degradation. Although there have been some initial observations on embedding, the root cause of their non-scalability remains unclear. Moreover, whether performance degradation occurs across different types of models and datasets is still an unexplored area. Regarding the effect of embedding dimensions on performance, we conduct large-scale experiments across 10 datasets with varying sparsity levels and scales, using 4 representative classical architectures. We surprisingly observe two novel phenomenon: double-peak and logarithmic. For the former, as the embedding dimension increases, performance first improves, then declines, rises again, and eventually drops. For the latter, it exhibits a perfect logarithmic curve. Our contributions are threefold. First, we discover two novel phenomena when scaling collaborative filtering models. Second, we gain an understanding of the underlying causes of the double-peak phenomenon. Lastly, we theoretically analyze the noise robustness of collaborative filtering models, with results matching empirical observations.