X-Cross: クロスドメイン逐次推薦のための言語モデルの動的統合

X-Cross: Dynamic Integration of Language Models for Cross-Domain Sequential Recommendation

April 29, 2025

著者: Guy Hadad, Haggai Roitman, Yotam Eshel, Bracha Shapira, Lior Rokach

cs.AI

要旨

新製品が日々登場する中、レコメンデーションシステムは、大規模な再学習を必要とせずに、新たなドメインに迅速に適応することが求められている。本研究では、「X-Cross」という新たなクロスドメイン逐次レコメンデーションモデルを提案する。このモデルは、複数のドメイン固有の言語モデルを統合することで、新たなドメインにおける製品を推薦する。各モデルは、低ランクアダプター（LoRA）を用いてファインチューニングされている。レコメンデーションプロンプトが与えられると、X-Crossは層ごとに操作を行い、各ソース言語モデルの表現を、他のすべてのモデルからの知識を統合することで動的に洗練する。これらの洗練された表現は、層から層へと伝播され、各ドメインアダプターの活性化を活用して、ドメイン固有のニュアンスを維持しつつ、ドメイン間での適応性を可能にする。逐次レコメンデーションのためのAmazonデータセットを使用して、X-Crossは、LoRAでファインチューニングされたモデルと同等の性能を達成し、追加パラメータの25%のみを使用する。おもちゃドメインから工具、電子機器、またはスポーツドメインへの適応などのクロスドメインタスクにおいて、X-Crossは堅牢な性能を示し、LoRAが効果的にファインチューニングを行うために必要なデータ量の約50%-75%を削減する。さらに、X-Crossは、代替のクロスドメインベースラインと比較して、精度の大幅な向上を達成する。全体として、X-Crossは、スケーラブルで適応性の高いクロスドメインレコメンデーションを可能にし、計算オーバーヘッドを削減し、データ制約環境における効率的なソリューションを提供する。

English

As new products are emerging daily, recommendation systems are required to quickly adapt to possible new domains without needing extensive retraining. This work presents ``X-Cross'' -- a novel cross-domain sequential-recommendation model that recommends products in new domains by integrating several domain-specific language models; each model is fine-tuned with low-rank adapters (LoRA). Given a recommendation prompt, operating layer by layer, X-Cross dynamically refines the representation of each source language model by integrating knowledge from all other models. These refined representations are propagated from one layer to the next, leveraging the activations from each domain adapter to ensure domain-specific nuances are preserved while enabling adaptability across domains. Using Amazon datasets for sequential recommendation, X-Cross achieves performance comparable to a model that is fine-tuned with LoRA, while using only 25% of the additional parameters. In cross-domain tasks, such as adapting from Toys domain to Tools, Electronics or Sports, X-Cross demonstrates robust performance, while requiring about 50%-75% less fine-tuning data than LoRA to make fine-tuning effective. Furthermore, X-Cross achieves significant improvement in accuracy over alternative cross-domain baselines. Overall, X-Cross enables scalable and adaptive cross-domain recommendations, reducing computational overhead and providing an efficient solution for data-constrained environments.