beeFormer: Acortando la Brecha Entre la Similitud Semántica y de Interacción en Sistemas de Recomendación

beeFormer: Bridging the Gap Between Semantic and Interaction Similarity in Recommender Systems

September 16, 2024

Autores: Vojtěch Vančura, Pavel Kordík, Milan Straka

cs.AI

Resumen

Los sistemas de recomendación a menudo utilizan información textual para mejorar sus predicciones, especialmente en escenarios de recomendación de inicio en frío o de cero disparos, donde no se pueden utilizar enfoques tradicionales de filtrado colaborativo. En los últimos años, se han propuesto muchos enfoques para extraer información textual para sistemas de recomendación, siendo los Transformers de oraciones los más prominentes. Sin embargo, estos modelos están entrenados para predecir similitud semántica sin utilizar datos de interacción con patrones ocultos específicos de los sistemas de recomendación. En este documento, proponemos beeFormer, un marco para entrenar modelos de Transformers de oraciones con datos de interacción. Demostramos que nuestros modelos entrenados con beeFormer pueden transferir conocimiento entre conjuntos de datos, superando no solo a los Transformers de oraciones de similitud semántica, sino también a los métodos tradicionales de filtrado colaborativo. También mostramos que el entrenamiento en múltiples conjuntos de datos de diferentes dominios acumula conocimiento en un solo modelo, desbloqueando la posibilidad de entrenar modelos universales de Transformers de oraciones, agnósticos al dominio, para extraer representaciones textuales para sistemas de recomendación. Publicamos el código fuente, los modelos entrenados y detalles adicionales que permiten replicar nuestros experimentos en https://github.com/recombee/beeformer.

English

Recommender systems often use text-side information to improve their predictions, especially in cold-start or zero-shot recommendation scenarios, where traditional collaborative filtering approaches cannot be used. Many approaches to text-mining side information for recommender systems have been proposed over recent years, with sentence Transformers being the most prominent one. However, these models are trained to predict semantic similarity without utilizing interaction data with hidden patterns specific to recommender systems. In this paper, we propose beeFormer, a framework for training sentence Transformer models with interaction data. We demonstrate that our models trained with beeFormer can transfer knowledge between datasets while outperforming not only semantic similarity sentence Transformers but also traditional collaborative filtering methods. We also show that training on multiple datasets from different domains accumulates knowledge in a single model, unlocking the possibility of training universal, domain-agnostic sentence Transformer models to mine text representations for recommender systems. We release the source code, trained models, and additional details allowing replication of our experiments at https://github.com/recombee/beeformer.