협업 필터링에서 임베딩 스케일링 이해하기

Understanding Embedding Scaling in Collaborative Filtering

September 19, 2025

저자: Zhuangzhuang He, Zhou Kaiyu, Haoyue Bai, Fengbin Zhu, Yonghui Yang

cs.AI

초록

대규모 추천 모델로의 확장은 가장 널리 논의되는 주제 중 하나가 되었습니다. 최근 연구들은 임베딩 차원 확장을 넘어선 구성 요소들에 초점을 맞추고 있는데, 이는 임베딩 확장이 성능 저하를 초래할 수 있다고 여겨지기 때문입니다. 비록 임베딩에 대한 몇 가지 초기 관찰이 있었지만, 그 확장 불가능성의 근본 원인은 여전히 불분명합니다. 또한, 다양한 유형의 모델과 데이터셋에서 성능 저하가 발생하는지 여부는 아직 탐구되지 않은 영역입니다. 임베딩 차원이 성능에 미치는 영향을 이해하기 위해, 우리는 다양한 희소성 수준과 규모를 가진 10개의 데이터셋과 4개의 대표적인 고전적 아키텍처를 사용하여 대규모 실험을 수행했습니다. 우리는 놀랍게도 두 가지 새로운 현상, 즉 이중 피크(double-peak)와 로그(logarithmic) 현상을 관찰했습니다. 전자의 경우, 임베딩 차원이 증가함에 따라 성능이 처음에는 향상되다가 감소하고, 다시 상승한 후 최종적으로 하락하는 패턴을 보였습니다. 후자의 경우, 완벽한 로그 곡선을 나타냈습니다. 우리의 기여는 세 가지입니다. 첫째, 협업 필터링 모델을 확장할 때 두 가지 새로운 현상을 발견했습니다. 둘째, 이중 피크 현상의 근본 원인을 이해했습니다. 마지막으로, 협업 필터링 모델의 노이즈 강건성을 이론적으로 분석했으며, 그 결과가 실험적 관찰과 일치함을 확인했습니다.

English

Scaling recommendation models into large recommendation models has become one of the most widely discussed topics. Recent efforts focus on components beyond the scaling embedding dimension, as it is believed that scaling embedding may lead to performance degradation. Although there have been some initial observations on embedding, the root cause of their non-scalability remains unclear. Moreover, whether performance degradation occurs across different types of models and datasets is still an unexplored area. Regarding the effect of embedding dimensions on performance, we conduct large-scale experiments across 10 datasets with varying sparsity levels and scales, using 4 representative classical architectures. We surprisingly observe two novel phenomenon: double-peak and logarithmic. For the former, as the embedding dimension increases, performance first improves, then declines, rises again, and eventually drops. For the latter, it exhibits a perfect logarithmic curve. Our contributions are threefold. First, we discover two novel phenomena when scaling collaborative filtering models. Second, we gain an understanding of the underlying causes of the double-peak phenomenon. Lastly, we theoretically analyze the noise robustness of collaborative filtering models, with results matching empirical observations.