X-Cross: Integrazione Dinamica di Modelli Linguistici per la Raccomandazione Sequenziale Cross-Dominio

X-Cross: Dynamic Integration of Language Models for Cross-Domain Sequential Recommendation

April 29, 2025

Autori: Guy Hadad, Haggai Roitman, Yotam Eshel, Bracha Shapira, Lior Rokach

cs.AI

Abstract

Con l'emergere quotidiano di nuovi prodotti, i sistemi di raccomandazione devono adattarsi rapidamente a possibili nuovi domini senza richiedere un esteso riaddestramento. Questo lavoro presenta "X-Cross" — un innovativo modello di raccomandazione sequenziale cross-domain che suggerisce prodotti in nuovi domini integrando diversi modelli linguistici specifici per dominio; ciascun modello viene ottimizzato utilizzando adattatori a basso rango (LoRA). Dato un prompt di raccomandazione, operando strato per strato, X-Cross affina dinamicamente la rappresentazione di ciascun modello linguistico sorgente integrando conoscenze da tutti gli altri modelli. Queste rappresentazioni raffinate vengono propagate da uno strato al successivo, sfruttando le attivazioni di ciascun adattatore di dominio per garantire che le sfumature specifiche del dominio siano preservate, pur consentendo l'adattabilità tra domini. Utilizzando dataset Amazon per la raccomandazione sequenziale, X-Cross raggiunge prestazioni paragonabili a un modello ottimizzato con LoRA, utilizzando solo il 25% dei parametri aggiuntivi. In compiti cross-domain, come l'adattamento dal dominio dei Giocattoli a quello degli Strumenti, Elettronica o Sport, X-Cross dimostra prestazioni robuste, richiedendo circa il 50%-75% in meno di dati di fine-tuning rispetto a LoRA per rendere efficace il fine-tuning. Inoltre, X-Cross ottiene un significativo miglioramento in termini di accuratezza rispetto alle baseline cross-domain alternative. Nel complesso, X-Cross abilita raccomandazioni cross-domain scalabili e adattabili, riducendo l'overhead computazionale e fornendo una soluzione efficiente per ambienti con vincoli di dati.

English

As new products are emerging daily, recommendation systems are required to quickly adapt to possible new domains without needing extensive retraining. This work presents ``X-Cross'' -- a novel cross-domain sequential-recommendation model that recommends products in new domains by integrating several domain-specific language models; each model is fine-tuned with low-rank adapters (LoRA). Given a recommendation prompt, operating layer by layer, X-Cross dynamically refines the representation of each source language model by integrating knowledge from all other models. These refined representations are propagated from one layer to the next, leveraging the activations from each domain adapter to ensure domain-specific nuances are preserved while enabling adaptability across domains. Using Amazon datasets for sequential recommendation, X-Cross achieves performance comparable to a model that is fine-tuned with LoRA, while using only 25% of the additional parameters. In cross-domain tasks, such as adapting from Toys domain to Tools, Electronics or Sports, X-Cross demonstrates robust performance, while requiring about 50%-75% less fine-tuning data than LoRA to make fine-tuning effective. Furthermore, X-Cross achieves significant improvement in accuracy over alternative cross-domain baselines. Overall, X-Cross enables scalable and adaptive cross-domain recommendations, reducing computational overhead and providing an efficient solution for data-constrained environments.