X-Cross: Динамическая интеграция языковых моделей для кросс-доменных последовательных рекомендаций

X-Cross: Dynamic Integration of Language Models for Cross-Domain Sequential Recommendation

April 29, 2025

Авторы: Guy Hadad, Haggai Roitman, Yotam Eshel, Bracha Shapira, Lior Rokach

cs.AI

Аннотация

Поскольку новые продукты появляются ежедневно, рекомендательные системы должны быстро адаптироваться к возможным новым доменам без необходимости в масштабном переобучении. В данной работе представлен «X-Cross» — новая модель кросс-доменной последовательной рекомендации, которая предлагает продукты в новых доменах, интегрируя несколько доменно-специфичных языковых моделей; каждая модель дообучается с использованием низкоранговых адаптеров (LoRA). Получив рекомендательный запрос, X-Cross, работая слой за слоем, динамически уточняет представление каждой исходной языковой модели, интегрируя знания из всех остальных моделей. Эти уточненные представления передаются от одного слоя к следующему, используя активации каждого доменного адаптера, чтобы сохранить доменно-специфичные нюансы, обеспечивая при этом адаптивность между доменами. Используя наборы данных Amazon для последовательной рекомендации, X-Cross демонстрирует производительность, сопоставимую с моделью, дообученной с помощью LoRA, при использовании всего 25% дополнительных параметров. В кросс-доменных задачах, таких как адаптация из домена Игрушки в домены Инструменты, Электроника или Спорт, X-Cross показывает устойчивую производительность, требуя при этом на 50%-75% меньше данных для дообучения, чем LoRA, чтобы сделать дообучение эффективным. Кроме того, X-Cross достигает значительного улучшения точности по сравнению с альтернативными кросс-доменными базовыми моделями. В целом, X-Cross обеспечивает масштабируемые и адаптивные кросс-доменные рекомендации, снижая вычислительные затраты и предоставляя эффективное решение для сред с ограниченными данными.

English

As new products are emerging daily, recommendation systems are required to quickly adapt to possible new domains without needing extensive retraining. This work presents ``X-Cross'' -- a novel cross-domain sequential-recommendation model that recommends products in new domains by integrating several domain-specific language models; each model is fine-tuned with low-rank adapters (LoRA). Given a recommendation prompt, operating layer by layer, X-Cross dynamically refines the representation of each source language model by integrating knowledge from all other models. These refined representations are propagated from one layer to the next, leveraging the activations from each domain adapter to ensure domain-specific nuances are preserved while enabling adaptability across domains. Using Amazon datasets for sequential recommendation, X-Cross achieves performance comparable to a model that is fine-tuned with LoRA, while using only 25% of the additional parameters. In cross-domain tasks, such as adapting from Toys domain to Tools, Electronics or Sports, X-Cross demonstrates robust performance, while requiring about 50%-75% less fine-tuning data than LoRA to make fine-tuning effective. Furthermore, X-Cross achieves significant improvement in accuracy over alternative cross-domain baselines. Overall, X-Cross enables scalable and adaptive cross-domain recommendations, reducing computational overhead and providing an efficient solution for data-constrained environments.