X-Cross: Dynamische Integration von Sprachmodellen für domänenübergreifende sequenzielle Empfehlungen

X-Cross: Dynamic Integration of Language Models for Cross-Domain Sequential Recommendation

April 29, 2025

Autoren: Guy Hadad, Haggai Roitman, Yotam Eshel, Bracha Shapira, Lior Rokach

cs.AI

Zusammenfassung

Da täglich neue Produkte auf den Markt kommen, müssen Empfehlungssysteme in der Lage sein, sich schnell an mögliche neue Domänen anzupassen, ohne umfangreiche Neuanpassungen zu benötigen. Diese Arbeit stellt „X-Cross“ vor – ein neuartiges Cross-Domain-Sequential-Empfehlungsmodell, das Produkte in neuen Domänen empfiehlt, indem es mehrere domänenspezifische Sprachmodelle integriert; jedes Modell wird mit Low-Rank-Adaptern (LoRA) feinabgestimmt. Bei einem Empfehlungs-Prompt verfeinert X-Cross schichtweise dynamisch die Repräsentation jedes Quellsprachmodells, indem es Wissen aus allen anderen Modellen integriert. Diese verfeinerten Repräsentationen werden von einer Schicht zur nächsten weitergegeben, wobei die Aktivierungen jedes Domänenadapters genutzt werden, um domänenspezifische Nuancen zu bewahren und gleichzeitig die Anpassungsfähigkeit über Domänen hinweg zu ermöglichen. Unter Verwendung von Amazon-Datensätzen für sequenzielle Empfehlungen erreicht X-Cross eine Leistung, die mit einem mit LoRA feinabgestimmten Modell vergleichbar ist, während nur 25 % der zusätzlichen Parameter verwendet werden. Bei Cross-Domain-Aufgaben, wie der Anpassung von der Spielzeugdomäne zu Werkzeugen, Elektronik oder Sport, zeigt X-Cross eine robuste Leistung, während etwa 50 %–75 % weniger Feinabstimmungsdaten als LoRA benötigt werden, um die Feinabstimmung effektiv zu machen. Darüber hinaus erzielt X-Cross eine signifikante Verbesserung der Genauigkeit gegenüber alternativen Cross-Domain-Baselines. Insgesamt ermöglicht X-Cross skalierbare und adaptive Cross-Domain-Empfehlungen, reduziert den Rechenaufwand und bietet eine effiziente Lösung für datenbegrenzte Umgebungen.

English

As new products are emerging daily, recommendation systems are required to quickly adapt to possible new domains without needing extensive retraining. This work presents ``X-Cross'' -- a novel cross-domain sequential-recommendation model that recommends products in new domains by integrating several domain-specific language models; each model is fine-tuned with low-rank adapters (LoRA). Given a recommendation prompt, operating layer by layer, X-Cross dynamically refines the representation of each source language model by integrating knowledge from all other models. These refined representations are propagated from one layer to the next, leveraging the activations from each domain adapter to ensure domain-specific nuances are preserved while enabling adaptability across domains. Using Amazon datasets for sequential recommendation, X-Cross achieves performance comparable to a model that is fine-tuned with LoRA, while using only 25% of the additional parameters. In cross-domain tasks, such as adapting from Toys domain to Tools, Electronics or Sports, X-Cross demonstrates robust performance, while requiring about 50%-75% less fine-tuning data than LoRA to make fine-tuning effective. Furthermore, X-Cross achieves significant improvement in accuracy over alternative cross-domain baselines. Overall, X-Cross enables scalable and adaptive cross-domain recommendations, reducing computational overhead and providing an efficient solution for data-constrained environments.