BeeFormer: Het Overbruggen van de Kloof Tussen Semantische en Interactie Vergelijkbaarheid in Aanbevelingssystemen

beeFormer: Bridging the Gap Between Semantic and Interaction Similarity in Recommender Systems

September 16, 2024

Auteurs: Vojtěch Vančura, Pavel Kordík, Milan Straka

cs.AI

Samenvatting

Aanbevelingssystemen maken vaak gebruik van tekstuele informatie om hun voorspellingen te verbeteren, vooral in koude start- of zero-shot aanbevelingsscenario's, waar traditionele samenwerkingsfilteringsbenaderingen niet kunnen worden gebruikt. Er zijn de afgelopen jaren veel benaderingen voorgesteld om tekstuele informatie te mijnen voor aanbevelingssystemen, waarbij zintransformatoren de meest prominente zijn. Deze modellen zijn echter getraind om semantische gelijkenis te voorspellen zonder gebruik te maken van interactiegegevens met verborgen patronen die specifiek zijn voor aanbevelingssystemen. In dit artikel stellen we beeFormer voor, een raamwerk voor het trainen van zintransformatormodellen met interactiegegevens. We tonen aan dat onze modellen getraind met beeFormer kennis kunnen overdragen tussen datasets en beter presteren dan niet alleen semantische gelijkenis zintransformatoren, maar ook traditionele samenwerkingsfilteringsmethoden. We laten ook zien dat training op meerdere datasets uit verschillende domeinen kennis ophoopt in een enkel model, waardoor de mogelijkheid ontstaat om universele, domeinagnostische zintransformatormodellen te trainen om tekstuele representaties te mijnen voor aanbevelingssystemen. We stellen de broncode, getrainde modellen en aanvullende details beschikbaar om de replicatie van onze experimenten mogelijk te maken op https://github.com/recombee/beeformer.

English

Recommender systems often use text-side information to improve their predictions, especially in cold-start or zero-shot recommendation scenarios, where traditional collaborative filtering approaches cannot be used. Many approaches to text-mining side information for recommender systems have been proposed over recent years, with sentence Transformers being the most prominent one. However, these models are trained to predict semantic similarity without utilizing interaction data with hidden patterns specific to recommender systems. In this paper, we propose beeFormer, a framework for training sentence Transformer models with interaction data. We demonstrate that our models trained with beeFormer can transfer knowledge between datasets while outperforming not only semantic similarity sentence Transformers but also traditional collaborative filtering methods. We also show that training on multiple datasets from different domains accumulates knowledge in a single model, unlocking the possibility of training universal, domain-agnostic sentence Transformer models to mine text representations for recommender systems. We release the source code, trained models, and additional details allowing replication of our experiments at https://github.com/recombee/beeformer.