X-Cross : Intégration dynamique de modèles de langage pour la recommandation séquentielle interdomaine

X-Cross: Dynamic Integration of Language Models for Cross-Domain Sequential Recommendation

April 29, 2025

Auteurs: Guy Hadad, Haggai Roitman, Yotam Eshel, Bracha Shapira, Lior Rokach

cs.AI

Résumé

Avec l'émergence quotidienne de nouveaux produits, les systèmes de recommandation doivent s'adapter rapidement à de nouveaux domaines potentiels sans nécessiter un réentraînement approfondi. Ce travail présente « X-Cross » — un nouveau modèle de recommandation séquentielle interdomaine qui recommande des produits dans de nouveaux domaines en intégrant plusieurs modèles de langage spécifiques à un domaine ; chaque modèle est affiné à l'aide d'adaptateurs à faible rang (LoRA). Étant donné une incitation de recommandation, en opérant couche par couche, X-Cross affine dynamiquement la représentation de chaque modèle de langage source en intégrant les connaissances de tous les autres modèles. Ces représentations raffinées sont propagées d'une couche à l'autre, en exploitant les activations de chaque adaptateur de domaine pour préserver les nuances spécifiques à chaque domaine tout en permettant une adaptabilité interdomaine. En utilisant des ensembles de données Amazon pour la recommandation séquentielle, X-Cross atteint des performances comparables à un modèle affiné avec LoRA, tout en utilisant seulement 25 % des paramètres supplémentaires. Dans les tâches interdomaines, comme l'adaptation du domaine des Jouets à celui des Outils, de l'Électronique ou des Sports, X-Cross démontre une performance robuste, tout en nécessitant environ 50 % à 75 % moins de données d'affinage que LoRA pour rendre l'affinage efficace. De plus, X-Cross obtient une amélioration significative de la précision par rapport aux alternatives interdomaines de référence. Globalement, X-Cross permet des recommandations interdomaines évolutives et adaptatives, réduisant la surcharge computationnelle et offrant une solution efficace pour les environnements contraints en données.

English

As new products are emerging daily, recommendation systems are required to quickly adapt to possible new domains without needing extensive retraining. This work presents ``X-Cross'' -- a novel cross-domain sequential-recommendation model that recommends products in new domains by integrating several domain-specific language models; each model is fine-tuned with low-rank adapters (LoRA). Given a recommendation prompt, operating layer by layer, X-Cross dynamically refines the representation of each source language model by integrating knowledge from all other models. These refined representations are propagated from one layer to the next, leveraging the activations from each domain adapter to ensure domain-specific nuances are preserved while enabling adaptability across domains. Using Amazon datasets for sequential recommendation, X-Cross achieves performance comparable to a model that is fine-tuned with LoRA, while using only 25% of the additional parameters. In cross-domain tasks, such as adapting from Toys domain to Tools, Electronics or Sports, X-Cross demonstrates robust performance, while requiring about 50%-75% less fine-tuning data than LoRA to make fine-tuning effective. Furthermore, X-Cross achieves significant improvement in accuracy over alternative cross-domain baselines. Overall, X-Cross enables scalable and adaptive cross-domain recommendations, reducing computational overhead and providing an efficient solution for data-constrained environments.