X-Cross: Integración Dinámica de Modelos de Lenguaje para la Recomendación Secuencial en Dominios Cruzados

X-Cross: Dynamic Integration of Language Models for Cross-Domain Sequential Recommendation

April 29, 2025

Autores: Guy Hadad, Haggai Roitman, Yotam Eshel, Bracha Shapira, Lior Rokach

cs.AI

Resumen

A medida que nuevos productos emergen diariamente, los sistemas de recomendación deben adaptarse rápidamente a posibles nuevos dominios sin necesidad de un extenso reentrenamiento. Este trabajo presenta "X-Cross", un modelo novedoso de recomendación secuencial entre dominios que recomienda productos en nuevos dominios mediante la integración de varios modelos de lenguaje específicos de dominio; cada modelo se ajusta con adaptadores de bajo rango (LoRA). Dado un prompt de recomendación, operando capa por capa, X-Cross refina dinámicamente la representación de cada modelo de lenguaje fuente al integrar conocimiento de todos los demás modelos. Estas representaciones refinadas se propagan de una capa a la siguiente, aprovechando las activaciones de cada adaptador de dominio para garantizar que se preserven los matices específicos del dominio mientras se habilita la adaptabilidad entre dominios. Utilizando conjuntos de datos de Amazon para recomendación secuencial, X-Cross logra un rendimiento comparable al de un modelo ajustado con LoRA, mientras utiliza solo el 25% de los parámetros adicionales. En tareas entre dominios, como adaptarse del dominio de Juguetes a Herramientas, Electrónica o Deportes, X-Cross demuestra un rendimiento robusto, requiriendo aproximadamente un 50%-75% menos datos de ajuste fino que LoRA para que el ajuste sea efectivo. Además, X-Cross logra una mejora significativa en precisión sobre líneas base alternativas entre dominios. En general, X-Cross permite recomendaciones escalables y adaptables entre dominios, reduciendo la sobrecarga computacional y proporcionando una solución eficiente para entornos con limitaciones de datos.

English

As new products are emerging daily, recommendation systems are required to quickly adapt to possible new domains without needing extensive retraining. This work presents ``X-Cross'' -- a novel cross-domain sequential-recommendation model that recommends products in new domains by integrating several domain-specific language models; each model is fine-tuned with low-rank adapters (LoRA). Given a recommendation prompt, operating layer by layer, X-Cross dynamically refines the representation of each source language model by integrating knowledge from all other models. These refined representations are propagated from one layer to the next, leveraging the activations from each domain adapter to ensure domain-specific nuances are preserved while enabling adaptability across domains. Using Amazon datasets for sequential recommendation, X-Cross achieves performance comparable to a model that is fine-tuned with LoRA, while using only 25% of the additional parameters. In cross-domain tasks, such as adapting from Toys domain to Tools, Electronics or Sports, X-Cross demonstrates robust performance, while requiring about 50%-75% less fine-tuning data than LoRA to make fine-tuning effective. Furthermore, X-Cross achieves significant improvement in accuracy over alternative cross-domain baselines. Overall, X-Cross enables scalable and adaptive cross-domain recommendations, reducing computational overhead and providing an efficient solution for data-constrained environments.