beeFormer: Überbrückung der Kluft zwischen semantischer und Interaktionsähnlichkeit in Empfehlungssystemen

beeFormer: Bridging the Gap Between Semantic and Interaction Similarity in Recommender Systems

September 16, 2024

Autoren: Vojtěch Vančura, Pavel Kordík, Milan Straka

cs.AI

Zusammenfassung

Recommender-Systeme nutzen oft Textinformationen, um ihre Vorhersagen zu verbessern, insbesondere in Cold-Start- oder Zero-Shot-Empfehlungsszenarien, in denen traditionelle kollaborative Filteransätze nicht verwendet werden können. In den letzten Jahren wurden viele Ansätze zur Textanalyse von Seitendaten für Empfehlungssysteme vorgeschlagen, wobei Satz-Transformer der prominenteste ist. Diese Modelle sind jedoch darauf trainiert, semantische Ähnlichkeit vorherzusagen, ohne Interaktionsdaten mit verborgenen, für Empfehlungssysteme spezifischen Mustern zu nutzen. In diesem Paper schlagen wir beeFormer vor, ein Framework zur Schulung von Satz-Transformer-Modellen mit Interaktionsdaten. Wir zeigen, dass unsere mit beeFormer trainierten Modelle Wissen zwischen Datensätzen übertragen können und nicht nur semantische Ähnlichkeits-Satz-Transformer, sondern auch traditionelle kollaborative Filtermethoden übertreffen. Wir zeigen auch, dass das Training auf mehreren Datensätzen aus verschiedenen Bereichen Wissen in einem einzigen Modell ansammelt und somit die Möglichkeit bietet, universelle, domänenagnostische Satz-Transformer-Modelle zur Textanalyse für Empfehlungssysteme zu trainieren. Wir veröffentlichen den Quellcode, trainierte Modelle und zusätzliche Details, die die Reproduktion unserer Experimente unter https://github.com/recombee/beeformer ermöglichen.

English

Recommender systems often use text-side information to improve their predictions, especially in cold-start or zero-shot recommendation scenarios, where traditional collaborative filtering approaches cannot be used. Many approaches to text-mining side information for recommender systems have been proposed over recent years, with sentence Transformers being the most prominent one. However, these models are trained to predict semantic similarity without utilizing interaction data with hidden patterns specific to recommender systems. In this paper, we propose beeFormer, a framework for training sentence Transformer models with interaction data. We demonstrate that our models trained with beeFormer can transfer knowledge between datasets while outperforming not only semantic similarity sentence Transformers but also traditional collaborative filtering methods. We also show that training on multiple datasets from different domains accumulates knowledge in a single model, unlocking the possibility of training universal, domain-agnostic sentence Transformer models to mine text representations for recommender systems. We release the source code, trained models, and additional details allowing replication of our experiments at https://github.com/recombee/beeformer.