beeFormer : Combler le fossé entre la similarité sémantique et la similarité d'interaction dans les systèmes de recommandation

beeFormer: Bridging the Gap Between Semantic and Interaction Similarity in Recommender Systems

September 16, 2024

Auteurs: Vojtěch Vančura, Pavel Kordík, Milan Straka

cs.AI

Résumé

Les systèmes de recommandation utilisent souvent des informations textuelles pour améliorer leurs prédictions, notamment dans des scénarios de recommandation à démarrage à froid ou à zéro-shot, où les approches traditionnelles de filtrage collaboratif ne peuvent pas être utilisées. De nombreuses approches pour l'extraction d'informations textuelles pour les systèmes de recommandation ont été proposées ces dernières années, les Transformateurs de phrases étant les plus remarquables. Cependant, ces modèles sont entraînés à prédire la similarité sémantique sans utiliser les données d'interaction avec des motifs cachés spécifiques aux systèmes de recommandation. Dans cet article, nous proposons beeFormer, un cadre pour entraîner des modèles de Transformateurs de phrases avec des données d'interaction. Nous démontrons que nos modèles entraînés avec beeFormer peuvent transférer des connaissances entre les ensembles de données tout en surpassant non seulement les Transformateurs de phrases pour la similarité sémantique, mais aussi les méthodes traditionnelles de filtrage collaboratif. Nous montrons également que l'entraînement sur plusieurs ensembles de données de domaines différents permet d'accumuler des connaissances dans un seul modèle, ouvrant la possibilité d'entraîner des modèles universels de Transformateurs de phrases, agnostiques au domaine, pour extraire des représentations textuelles pour les systèmes de recommandation. Nous mettons à disposition le code source, les modèles entraînés et des détails supplémentaires permettant de reproduire nos expériences sur https://github.com/recombee/beeformer.

English

Recommender systems often use text-side information to improve their predictions, especially in cold-start or zero-shot recommendation scenarios, where traditional collaborative filtering approaches cannot be used. Many approaches to text-mining side information for recommender systems have been proposed over recent years, with sentence Transformers being the most prominent one. However, these models are trained to predict semantic similarity without utilizing interaction data with hidden patterns specific to recommender systems. In this paper, we propose beeFormer, a framework for training sentence Transformer models with interaction data. We demonstrate that our models trained with beeFormer can transfer knowledge between datasets while outperforming not only semantic similarity sentence Transformers but also traditional collaborative filtering methods. We also show that training on multiple datasets from different domains accumulates knowledge in a single model, unlocking the possibility of training universal, domain-agnostic sentence Transformer models to mine text representations for recommender systems. We release the source code, trained models, and additional details allowing replication of our experiments at https://github.com/recombee/beeformer.