beeFormer: Colmare il Divario tra la Similarità Semantica e di Interazione nei Sistemi di Raccomandazione

beeFormer: Bridging the Gap Between Semantic and Interaction Similarity in Recommender Systems

September 16, 2024

Autori: Vojtěch Vančura, Pavel Kordík, Milan Straka

cs.AI

Abstract

I sistemi di raccomandazione spesso utilizzano informazioni testuali per migliorare le loro previsioni, specialmente in scenari di raccomandazione a partire da zero o senza dati iniziali, in cui non possono essere impiegati approcci tradizionali di filtraggio collaborativo. Negli ultimi anni sono state proposte molte metodologie per l'estrazione di informazioni testuali a supporto dei sistemi di raccomandazione, con i Transformer di frasi che rappresentano l'approccio più prominente. Tuttavia, questi modelli sono addestrati per prevedere la similarità semantica senza sfruttare i dati di interazione con modelli nascosti specifici dei sistemi di raccomandazione. In questo articolo, proponiamo beeFormer, un framework per l'addestramento di modelli Transformer di frasi con dati di interazione. Dimostriamo che i nostri modelli addestrati con beeFormer possono trasferire conoscenze tra diversi dataset, superando non solo i Transformer di frasi per similarità semantica, ma anche i metodi tradizionali di filtraggio collaborativo. Mostriamo inoltre che l'addestramento su più dataset provenienti da domini diversi consente di accumulare conoscenze in un unico modello, aprendo la possibilità di addestrare modelli Transformer di frasi universali e indipendenti dal dominio per estrarre rappresentazioni testuali per i sistemi di raccomandazione. Rilasciamo il codice sorgente, i modelli addestrati e dettagli aggiuntivi per consentire la replicazione dei nostri esperimenti su https://github.com/recombee/beeformer.

English

Recommender systems often use text-side information to improve their predictions, especially in cold-start or zero-shot recommendation scenarios, where traditional collaborative filtering approaches cannot be used. Many approaches to text-mining side information for recommender systems have been proposed over recent years, with sentence Transformers being the most prominent one. However, these models are trained to predict semantic similarity without utilizing interaction data with hidden patterns specific to recommender systems. In this paper, we propose beeFormer, a framework for training sentence Transformer models with interaction data. We demonstrate that our models trained with beeFormer can transfer knowledge between datasets while outperforming not only semantic similarity sentence Transformers but also traditional collaborative filtering methods. We also show that training on multiple datasets from different domains accumulates knowledge in a single model, unlocking the possibility of training universal, domain-agnostic sentence Transformer models to mine text representations for recommender systems. We release the source code, trained models, and additional details allowing replication of our experiments at https://github.com/recombee/beeformer.