Не растрачивайте потенциал: направляющие рекомендации с помощью структурированных априорных знаний через многоголовое декодирование
Don't Waste It: Guiding Generative Recommenders with Structured Human Priors via Multi-head Decoding
November 13, 2025
Авторы: Yunkai Zhang, Qiang Zhang, Feng, Lin, Ruizhong Qiu, Hanchao Yu, Jason Liu, Yinglong Xia, Zhuoran Yu, Zeyu Zheng, Diji Yang
cs.AI
Аннотация
Оптимизация систем рекомендаций для достижения целей, выходящих за рамки точности, таких как разнообразие, новизна и персонализация, крайне важна для долгосрочного удовлетворения пользователей. С этой целью специалисты в индустрии накопили огромный объем структурированных доменных знаний, которые мы называем априорными знаниями человека (например, таксономии элементов, временные паттерны). Эти знания обычно применяются посредством пост-обработки на этапе ранжирования или после него. Однако такой подход остается оторванным от основного процесса обучения модели, что особенно нежелательно в условиях перехода индустрии к сквозным генеративным фундаментальным моделям рекомендаций. С другой стороны, многие методы, нацеленные на эти дополнительные метрики, часто требуют модификаций, специфичных для архитектуры, и отбрасывают ценные априорные знания человека, обучаясь понимать интересы пользователя полностью неконтролируемым образом.
Вместо того чтобы отказываться от априорных знаний, накопленных за годы практики, мы представляем универсальный фреймворк, который бесшовно интегрирует эти знания непосредственно в сквозное обучение генеративных рекомендательных систем. С помощью легковесных адаптеров, управляемых априорными знаниями и вдохновленных эффективными стратегиями декодирования больших языковых моделей, наш подход направляет модель на разделение интересов пользователя по понятным человеку осям (например, типы взаимодействий, долгосрочные и краткосрочные интересы). Мы также представляем стратегию иерархической композиции для моделирования сложных взаимодействий между различными типами априорных знаний. Масштабные эксперименты на трех больших наборах данных демонстрируют, что наш метод значительно улучшает как показатели точности, так и дополнительные целевые метрики. Мы также показываем, что априорные знания позволяют базовой модели эффективнее использовать более длинные контексты и большие размеры моделей.
English
Optimizing recommender systems for objectives beyond accuracy, such as diversity, novelty, and personalization, is crucial for long-term user satisfaction. To this end, industrial practitioners have accumulated vast amounts of structured domain knowledge, which we term human priors (e.g., item taxonomies, temporal patterns). This knowledge is typically applied through post-hoc adjustments during ranking or post-ranking. However, this approach remains decoupled from the core model learning, which is particularly undesirable as the industry shifts to end-to-end generative recommendation foundation models. On the other hand, many methods targeting these beyond-accuracy objectives often require architecture-specific modifications and discard these valuable human priors by learning user intent in a fully unsupervised manner.
Instead of discarding the human priors accumulated over years of practice, we introduce a backbone-agnostic framework that seamlessly integrates these human priors directly into the end-to-end training of generative recommenders. With lightweight, prior-conditioned adapter heads inspired by efficient LLM decoding strategies, our approach guides the model to disentangle user intent along human-understandable axes (e.g., interaction types, long- vs. short-term interests). We also introduce a hierarchical composition strategy for modeling complex interactions across different prior types. Extensive experiments on three large-scale datasets demonstrate that our method significantly enhances both accuracy and beyond-accuracy objectives. We also show that human priors allow the backbone model to more effectively leverage longer context lengths and larger model sizes.