낭비하지 마세요: 다중 헤드 디코딩을 통한 구조화된 인간 사전 정보로 생성형 추천 시스템 안내하기

초록

정확도 이상의 목표(다양성, 신선도, 개인화 등)를 위해 추천 시스템을 최적화하는 것은 장기적인 사용자 만족도에 매우 중요합니다. 이를 위해 산업계 실무자들은 방대한 양의 구조화된 도메인 지식, 즉 인간 사전 지식(예: 아이템 분류 체계, 시간적 패턴)을 축적해 왔습니다. 이러한 지식은 일반적으로 랭킹 또는 포스트-랭킹 과정에서 사후 조정을 통해 적용됩니다. 그러나 이 접근법은 핵심 모델 학습과 분리되어 있으며, 특히 산업이 종단간 생성형 추천 기초 모델로 전환됨에 있어 바람직하지 않습니다. 한편, 정확도 이상의 목표를 다루는 많은 방법론은 아키텍처 특정 수정이 필요하며, 가치 있는 이러한 인간 사전 지식을 버리고 완전히 비지도 방식으로 사용자 의도를 학습합니다. 수년 간의 실무를 통해 축적된 인간 사전 지식을 버리는 대신, 우리는 이러한 지식을 생성형 추천기의 종단간 학습에 직접적으로 원활하게 통합하는 백본-불가지론적 프레임워크를 소개합니다. 효율적인 LLM 디코딩 전략에서 영감을 받은 경량의 사전 지식 조건부 어댑터 헤드를 통해, 우리의 접근법은 모델이 인간이 이해 가능한 축(예: 상호작용 유형, 장기적 대 단기적 관심사)을 따라 사용자 의도를 분리하도록 유도합니다. 또한 서로 다른 사전 지식 유형 간의 복잡한 상호작용을 모델링하기 위한 계층적 구성 전략을 도입합니다. 3개의 대규모 데이터셋에 대한 폭넓은 실험을 통해 우리의 방법이 정확도와 정확도 이상의 목표 모두를 크게 향상시킴을 입증합니다. 또한 인간 사전 지식이 백본 모델이 더 긴 컨텍스트 길이와 더 큰 모델 크기를 더 효과적으로 활용할 수 있게 한다는 것을 보여줍니다.

English

Optimizing recommender systems for objectives beyond accuracy, such as diversity, novelty, and personalization, is crucial for long-term user satisfaction. To this end, industrial practitioners have accumulated vast amounts of structured domain knowledge, which we term human priors (e.g., item taxonomies, temporal patterns). This knowledge is typically applied through post-hoc adjustments during ranking or post-ranking. However, this approach remains decoupled from the core model learning, which is particularly undesirable as the industry shifts to end-to-end generative recommendation foundation models. On the other hand, many methods targeting these beyond-accuracy objectives often require architecture-specific modifications and discard these valuable human priors by learning user intent in a fully unsupervised manner. Instead of discarding the human priors accumulated over years of practice, we introduce a backbone-agnostic framework that seamlessly integrates these human priors directly into the end-to-end training of generative recommenders. With lightweight, prior-conditioned adapter heads inspired by efficient LLM decoding strategies, our approach guides the model to disentangle user intent along human-understandable axes (e.g., interaction types, long- vs. short-term interests). We also introduce a hierarchical composition strategy for modeling complex interactions across different prior types. Extensive experiments on three large-scale datasets demonstrate that our method significantly enhances both accuracy and beyond-accuracy objectives. We also show that human priors allow the backbone model to more effectively leverage longer context lengths and larger model sizes.

낭비하지 마세요: 다중 헤드 디코딩을 통한 구조화된 인간 사전 정보로 생성형 추천 시스템 안내하기

Don't Waste It: Guiding Generative Recommenders with Structured Human Priors via Multi-head Decoding

초록

Support