X-Cross: 크로스 도메인 순차 추천을 위한 언어 모델의 동적 통합

X-Cross: Dynamic Integration of Language Models for Cross-Domain Sequential Recommendation

April 29, 2025

저자: Guy Hadad, Haggai Roitman, Yotam Eshel, Bracha Shapira, Lior Rokach

cs.AI

초록

매일 새로운 제품이 등장함에 따라, 추천 시스템은 광범위한 재학습 없이도 새로운 도메인에 빠르게 적응할 수 있어야 합니다. 본 연구는 "X-Cross"라는 새로운 교차 도메인 순차 추천 모델을 제안합니다. 이 모델은 여러 도메인별 언어 모델을 통합하여 새로운 도메인에서 제품을 추천하며, 각 모델은 저랭크 어댑터(LoRA)를 사용하여 미세 조정됩니다. 추천 프롬프트가 주어지면, X-Cross는 레이어별로 동작하며 모든 다른 모델의 지식을 통합하여 각 소스 언어 모델의 표현을 동적으로 개선합니다. 이러한 개선된 표현은 한 레이어에서 다음 레이어로 전파되며, 각 도메인 어댑터의 활성화를 활용하여 도메인별 뉘앙스를 보존하면서도 도메인 간 적응성을 가능하게 합니다. Amazon 데이터셋을 사용한 순차 추천 실험에서, X-Cross는 LoRA로 미세 조정된 모델과 비슷한 성능을 달성하면서도 추가 파라미터의 25%만 사용합니다. 장난감 도메인에서 도구, 전자제품 또는 스포츠 도메인으로 적응하는 교차 도메인 작업에서, X-Cross는 LoRA가 효과적으로 미세 조정되기 위해 필요한 데이터의 약 50%-75%만 필요로 하면서도 견고한 성능을 보여줍니다. 또한, X-Cross는 대체 교차 도메인 베이스라인 대비 정확도에서 상당한 개선을 달성합니다. 전반적으로, X-Cross는 확장 가능하고 적응적인 교차 도메인 추천을 가능하게 하며, 계산 오버헤드를 줄이고 데이터가 제한된 환경에서 효율적인 솔루션을 제공합니다.

English

As new products are emerging daily, recommendation systems are required to quickly adapt to possible new domains without needing extensive retraining. This work presents ``X-Cross'' -- a novel cross-domain sequential-recommendation model that recommends products in new domains by integrating several domain-specific language models; each model is fine-tuned with low-rank adapters (LoRA). Given a recommendation prompt, operating layer by layer, X-Cross dynamically refines the representation of each source language model by integrating knowledge from all other models. These refined representations are propagated from one layer to the next, leveraging the activations from each domain adapter to ensure domain-specific nuances are preserved while enabling adaptability across domains. Using Amazon datasets for sequential recommendation, X-Cross achieves performance comparable to a model that is fine-tuned with LoRA, while using only 25% of the additional parameters. In cross-domain tasks, such as adapting from Toys domain to Tools, Electronics or Sports, X-Cross demonstrates robust performance, while requiring about 50%-75% less fine-tuning data than LoRA to make fine-tuning effective. Furthermore, X-Cross achieves significant improvement in accuracy over alternative cross-domain baselines. Overall, X-Cross enables scalable and adaptive cross-domain recommendations, reducing computational overhead and providing an efficient solution for data-constrained environments.