Het begrijpen van schaling van embeddings in collaboratieve filtering

Understanding Embedding Scaling in Collaborative Filtering

September 19, 2025

Auteurs: Zhuangzhuang He, Zhou Kaiyu, Haoyue Bai, Fengbin Zhu, Yonghui Yang

cs.AI

Samenvatting

Het opschalen van aanbevelingsmodellen naar grote aanbevelingsmodellen is een van de meest besproken onderwerpen geworden. Recente inspanningen richten zich op componenten die verder gaan dan het opschalen van de embeddingdimensie, omdat wordt aangenomen dat het opschalen van embeddings kan leiden tot prestatievermindering. Hoewel er enkele initiële observaties zijn gedaan over embeddings, blijft de oorzaak van hun niet-schaalbaarheid onduidelijk. Bovendien is het nog steeds een onontgonnen gebied of prestatievermindering optreedt bij verschillende soorten modellen en datasets. Wat betreft het effect van embeddingdimensies op de prestaties, voeren we grootschalige experimenten uit over 10 datasets met verschillende sparsiteitsniveaus en schalen, waarbij we 4 representatieve klassieke architecturen gebruiken. Verrassend observeren we twee nieuwe fenomenen: dubbelpiek en logaritmisch. Bij het eerste fenomeen verbetert de prestatie eerst naarmate de embeddingdimensie toeneemt, daalt vervolgens, stijgt opnieuw en neemt uiteindelijk af. Bij het tweede fenomeen vertoont het een perfecte logaritmische curve. Onze bijdragen zijn drievoudig. Ten eerste ontdekken we twee nieuwe fenomenen bij het opschalen van collaboratieve filteringsmodellen. Ten tweede krijgen we inzicht in de onderliggende oorzaken van het dubbelpiekfenomeen. Tot slot analyseren we theoretisch de ruisbestendigheid van collaboratieve filteringsmodellen, waarbij de resultaten overeenkomen met empirische observaties.

English

Scaling recommendation models into large recommendation models has become one of the most widely discussed topics. Recent efforts focus on components beyond the scaling embedding dimension, as it is believed that scaling embedding may lead to performance degradation. Although there have been some initial observations on embedding, the root cause of their non-scalability remains unclear. Moreover, whether performance degradation occurs across different types of models and datasets is still an unexplored area. Regarding the effect of embedding dimensions on performance, we conduct large-scale experiments across 10 datasets with varying sparsity levels and scales, using 4 representative classical architectures. We surprisingly observe two novel phenomenon: double-peak and logarithmic. For the former, as the embedding dimension increases, performance first improves, then declines, rises again, and eventually drops. For the latter, it exhibits a perfect logarithmic curve. Our contributions are threefold. First, we discover two novel phenomena when scaling collaborative filtering models. Second, we gain an understanding of the underlying causes of the double-peak phenomenon. Lastly, we theoretically analyze the noise robustness of collaborative filtering models, with results matching empirical observations.