X-Cross: Dynamische integratie van taalmodelen voor cross-domein sequentiële aanbevelingen

X-Cross: Dynamic Integration of Language Models for Cross-Domain Sequential Recommendation

April 29, 2025

Auteurs: Guy Hadad, Haggai Roitman, Yotam Eshel, Bracha Shapira, Lior Rokach

cs.AI

Samenvatting

Aangezien er dagelijks nieuwe producten op de markt komen, is het noodzakelijk dat aanbevelingssystemen zich snel kunnen aanpassen aan mogelijke nieuwe domeinen zonder uitgebreide hertraining te vereisen. Dit werk presenteert ``X-Cross'' -- een nieuw cross-domein sequentieel-aanbevelingsmodel dat producten in nieuwe domeinen aanbeveelt door verschillende domeinspecifieke taalmodelen te integreren; elk model is verfijnd met low-rank adapters (LoRA). Gegeven een aanbevelingsprompt, werkt X-Cross laag voor laag en verfijnt dynamisch de representatie van elk bron-taalmodel door kennis van alle andere modellen te integreren. Deze verfijnde representaties worden van de ene laag naar de volgende doorgegeven, waarbij de activaties van elke domeinadapter worden benut om ervoor te zorgen dat domeinspecifieke nuances behouden blijven terwijl aanpassingsvermogen over domeinen heen wordt mogelijk gemaakt. Door gebruik te maken van Amazon-datasets voor sequentiële aanbevelingen, bereikt X-Cross een vergelijkbare prestaties als een model dat is verfijnd met LoRA, terwijl slechts 25% van de aanvullende parameters wordt gebruikt. In cross-domein taken, zoals aanpassen van het Speelgoed-domein naar Gereedschap, Elektronica of Sport, toont X-Cross robuuste prestaties, terwijl ongeveer 50%-75% minder fine-tuning data nodig is dan LoRA om fine-tuning effectief te maken. Bovendien behaalt X-Cross een significante verbetering in nauwkeurigheid ten opzichte van alternatieve cross-domein baseline-modellen. Over het algemeen maakt X-Cross schaalbare en adaptieve cross-domein aanbevelingen mogelijk, vermindert het de rekenkundige overhead en biedt het een efficiënte oplossing voor omgevingen met beperkte data.

English

As new products are emerging daily, recommendation systems are required to quickly adapt to possible new domains without needing extensive retraining. This work presents ``X-Cross'' -- a novel cross-domain sequential-recommendation model that recommends products in new domains by integrating several domain-specific language models; each model is fine-tuned with low-rank adapters (LoRA). Given a recommendation prompt, operating layer by layer, X-Cross dynamically refines the representation of each source language model by integrating knowledge from all other models. These refined representations are propagated from one layer to the next, leveraging the activations from each domain adapter to ensure domain-specific nuances are preserved while enabling adaptability across domains. Using Amazon datasets for sequential recommendation, X-Cross achieves performance comparable to a model that is fine-tuned with LoRA, while using only 25% of the additional parameters. In cross-domain tasks, such as adapting from Toys domain to Tools, Electronics or Sports, X-Cross demonstrates robust performance, while requiring about 50%-75% less fine-tuning data than LoRA to make fine-tuning effective. Furthermore, X-Cross achieves significant improvement in accuracy over alternative cross-domain baselines. Overall, X-Cross enables scalable and adaptive cross-domain recommendations, reducing computational overhead and providing an efficient solution for data-constrained environments.