X-Cross: Integração Dinâmica de Modelos de Linguagem para Recomendação Sequencial em Domínios Cruzados

X-Cross: Dynamic Integration of Language Models for Cross-Domain Sequential Recommendation

April 29, 2025

Autores: Guy Hadad, Haggai Roitman, Yotam Eshel, Bracha Shapira, Lior Rokach

cs.AI

Resumo

À medida que novos produtos surgem diariamente, os sistemas de recomendação precisam se adaptar rapidamente a possíveis novos domínios sem a necessidade de extensivo retreinamento. Este trabalho apresenta o ``X-Cross'' -- um novo modelo de recomendação sequencial entre domínios que recomenda produtos em novos domínios ao integrar vários modelos de linguagem específicos de domínio; cada modelo é ajustado com adaptadores de baixo posto (LoRA). Dado um prompt de recomendação, operando camada por camada, o X-Cross refina dinamicamente a representação de cada modelo de linguagem de origem ao integrar conhecimento de todos os outros modelos. Essas representações refinadas são propagadas de uma camada para a próxima, aproveitando as ativações de cada adaptador de domínio para garantir que nuances específicas do domínio sejam preservadas, ao mesmo tempo em que permitem adaptabilidade entre domínios. Utilizando conjuntos de dados da Amazon para recomendação sequencial, o X-Cross alcança desempenho comparável a um modelo ajustado com LoRA, enquanto utiliza apenas 25% dos parâmetros adicionais. Em tarefas entre domínios, como adaptar do domínio de Brinquedos para Ferramentas, Eletrônicos ou Esportes, o X-Cross demonstra desempenho robusto, enquanto requer cerca de 50%-75% menos dados de ajuste fino do que o LoRA para tornar o ajuste eficaz. Além disso, o X-Cross alcança uma melhoria significativa na precisão em relação a linhas de base alternativas entre domínios. No geral, o X-Cross permite recomendações escaláveis e adaptáveis entre domínios, reduzindo a sobrecarga computacional e fornecendo uma solução eficiente para ambientes com restrições de dados.

English

As new products are emerging daily, recommendation systems are required to quickly adapt to possible new domains without needing extensive retraining. This work presents ``X-Cross'' -- a novel cross-domain sequential-recommendation model that recommends products in new domains by integrating several domain-specific language models; each model is fine-tuned with low-rank adapters (LoRA). Given a recommendation prompt, operating layer by layer, X-Cross dynamically refines the representation of each source language model by integrating knowledge from all other models. These refined representations are propagated from one layer to the next, leveraging the activations from each domain adapter to ensure domain-specific nuances are preserved while enabling adaptability across domains. Using Amazon datasets for sequential recommendation, X-Cross achieves performance comparable to a model that is fine-tuned with LoRA, while using only 25% of the additional parameters. In cross-domain tasks, such as adapting from Toys domain to Tools, Electronics or Sports, X-Cross demonstrates robust performance, while requiring about 50%-75% less fine-tuning data than LoRA to make fine-tuning effective. Furthermore, X-Cross achieves significant improvement in accuracy over alternative cross-domain baselines. Overall, X-Cross enables scalable and adaptive cross-domain recommendations, reducing computational overhead and providing an efficient solution for data-constrained environments.