Comprendere il Ridimensionamento degli Embedding nel Filtraggio Collaborativo

Understanding Embedding Scaling in Collaborative Filtering

September 19, 2025

Autori: Zhuangzhuang He, Zhou Kaiyu, Haoyue Bai, Fengbin Zhu, Yonghui Yang

cs.AI

Abstract

Il ridimensionamento dei modelli di raccomandazione in modelli di raccomandazione di grandi dimensioni è diventato uno degli argomenti più discussi. Recenti sforzi si concentrano su componenti oltre il ridimensionamento della dimensione degli embedding, poiché si ritiene che il ridimensionamento degli embedding possa portare a un degrado delle prestazioni. Sebbene siano state fatte alcune osservazioni iniziali sugli embedding, la causa principale della loro non scalabilità rimane poco chiara. Inoltre, se il degrado delle prestazioni si verifichi in diversi tipi di modelli e dataset è ancora un'area inesplorata. Per quanto riguarda l'effetto delle dimensioni degli embedding sulle prestazioni, abbiamo condotto esperimenti su larga scala su 10 dataset con diversi livelli di sparsità e scale, utilizzando 4 architetture classiche rappresentative. Abbiamo osservato, con sorpresa, due nuovi fenomeni: il doppio picco e il logaritmico. Per il primo, all'aumentare della dimensione degli embedding, le prestazioni migliorano inizialmente, poi diminuiscono, risalgono e infine calano. Per il secondo, si osserva una perfetta curva logaritmica. I nostri contributi sono tre. Primo, abbiamo scoperto due nuovi fenomeni nel ridimensionamento dei modelli di filtraggio collaborativo. Secondo, abbiamo compreso le cause sottostanti del fenomeno del doppio picco. Infine, abbiamo analizzato teoricamente la robustezza al rumore dei modelli di filtraggio collaborativo, con risultati che corrispondono alle osservazioni empiriche.

English

Scaling recommendation models into large recommendation models has become one of the most widely discussed topics. Recent efforts focus on components beyond the scaling embedding dimension, as it is believed that scaling embedding may lead to performance degradation. Although there have been some initial observations on embedding, the root cause of their non-scalability remains unclear. Moreover, whether performance degradation occurs across different types of models and datasets is still an unexplored area. Regarding the effect of embedding dimensions on performance, we conduct large-scale experiments across 10 datasets with varying sparsity levels and scales, using 4 representative classical architectures. We surprisingly observe two novel phenomenon: double-peak and logarithmic. For the former, as the embedding dimension increases, performance first improves, then declines, rises again, and eventually drops. For the latter, it exhibits a perfect logarithmic curve. Our contributions are threefold. First, we discover two novel phenomena when scaling collaborative filtering models. Second, we gain an understanding of the underlying causes of the double-peak phenomenon. Lastly, we theoretically analyze the noise robustness of collaborative filtering models, with results matching empirical observations.