beeFormer: Преодоление разрыва между семантической и взаимодейственной схожестью в рекомендательных системах

beeFormer: Bridging the Gap Between Semantic and Interaction Similarity in Recommender Systems

September 16, 2024

Авторы: Vojtěch Vančura, Pavel Kordík, Milan Straka

cs.AI

Аннотация

Системы рекомендаций часто используют текстовую информацию для улучшения своих прогнозов, особенно в сценариях холодного старта или нулевой классификации, где традиционные подходы коллаборативной фильтрации не могут быть использованы. За последние годы было предложено множество подходов к извлечению текстовой информации для систем рекомендаций, причем наиболее известными являются модели предложений на основе трансформеров. Однако эти модели обучены предсказывать семантическую схожесть без использования данных взаимодействия с скрытыми шаблонами, специфичными для систем рекомендаций. В данной статье мы предлагаем beeFormer, фреймворк для обучения моделей предложений на основе трансформеров с использованием данных взаимодействия. Мы демонстрируем, что наши модели, обученные с помощью beeFormer, способны передавать знания между наборами данных, превосходя не только модели предложений на основе семантической схожести, но и традиционные методы коллаборативной фильтрации. Мы также показываем, что обучение на нескольких наборах данных из различных областей позволяет накапливать знания в одной модели, открывая возможность обучения универсальных, областно-независимых моделей предложений на основе трансформеров для извлечения текстовых представлений для систем рекомендаций. Мы выкладываем исходный код, обученные модели и дополнительные детали, позволяющие воспроизвести наши эксперименты на https://github.com/recombee/beeformer.

English

Recommender systems often use text-side information to improve their predictions, especially in cold-start or zero-shot recommendation scenarios, where traditional collaborative filtering approaches cannot be used. Many approaches to text-mining side information for recommender systems have been proposed over recent years, with sentence Transformers being the most prominent one. However, these models are trained to predict semantic similarity without utilizing interaction data with hidden patterns specific to recommender systems. In this paper, we propose beeFormer, a framework for training sentence Transformer models with interaction data. We demonstrate that our models trained with beeFormer can transfer knowledge between datasets while outperforming not only semantic similarity sentence Transformers but also traditional collaborative filtering methods. We also show that training on multiple datasets from different domains accumulates knowledge in a single model, unlocking the possibility of training universal, domain-agnostic sentence Transformer models to mine text representations for recommender systems. We release the source code, trained models, and additional details allowing replication of our experiments at https://github.com/recombee/beeformer.