Não Desperdice: Orientando Recomendadores Generativos com Priori Humanos Estruturados via Decodificação Multi-cabeça
Don't Waste It: Guiding Generative Recommenders with Structured Human Priors via Multi-head Decoding
November 13, 2025
Autores: Yunkai Zhang, Qiang Zhang, Feng, Lin, Ruizhong Qiu, Hanchao Yu, Jason Liu, Yinglong Xia, Zhuoran Yu, Zeyu Zheng, Diji Yang
cs.AI
Resumo
A otimização de sistemas de recomendação para objetivos além da precisão, como diversidade, novidade e personalização, é crucial para a satisfação do usuário a longo prazo. Para tanto, os profissionais da indústria acumularam vastas quantidades de conhecimento de domínio estruturado, que denominamos de *priors* humanos (por exemplo, taxonomias de itens, padrões temporais). Esse conhecimento é tipicamente aplicado por meio de ajustes *post-hoc* durante a classificação ou pós-classificação. No entanto, essa abordagem permanece dissociada do aprendizado do modelo central, o que é particularmente indesejável à medida que a indústria migra para modelos de base de recomendação generativa de ponta a ponta. Por outro lado, muitos métodos que visam a esses objetivos além da precisão frequentemente exigem modificações específicas da arquitetura e descartam esses valiosos *priors* humanos ao aprender a intenção do usuário de uma maneira totalmente não supervisionada.
Em vez de descartar os *priors* humanos acumulados ao longo de anos de prática, introduzimos uma estrutura independente da arquitetura base que integra perfeitamente esses *priors* humanos diretamente no treinamento de ponta a ponta de recomendadores generativos. Com cabeças adaptadoras leves e condicionadas por *priors*, inspiradas em estratégias eficientes de decodificação de LLMs, nossa abordagem orienta o modelo a desembaraçar a intenção do usuário ao longo de eixos compreensíveis para humanos (por exemplo, tipos de interação, interesses de longo versus curto prazo). Também introduzimos uma estratégia de composição hierárquica para modelar interações complexas entre diferentes tipos de *priors*. Experimentos extensos em três conjuntos de dados de grande escala demonstram que nosso método melhora significativamente tanto os objetivos de precisão quanto os que vão além dela. Também mostramos que os *priors* humanos permitem que o modelo base aproveite de forma mais eficaz contextos mais longos e tamanhos de modelo maiores.
English
Optimizing recommender systems for objectives beyond accuracy, such as diversity, novelty, and personalization, is crucial for long-term user satisfaction. To this end, industrial practitioners have accumulated vast amounts of structured domain knowledge, which we term human priors (e.g., item taxonomies, temporal patterns). This knowledge is typically applied through post-hoc adjustments during ranking or post-ranking. However, this approach remains decoupled from the core model learning, which is particularly undesirable as the industry shifts to end-to-end generative recommendation foundation models. On the other hand, many methods targeting these beyond-accuracy objectives often require architecture-specific modifications and discard these valuable human priors by learning user intent in a fully unsupervised manner.
Instead of discarding the human priors accumulated over years of practice, we introduce a backbone-agnostic framework that seamlessly integrates these human priors directly into the end-to-end training of generative recommenders. With lightweight, prior-conditioned adapter heads inspired by efficient LLM decoding strategies, our approach guides the model to disentangle user intent along human-understandable axes (e.g., interaction types, long- vs. short-term interests). We also introduce a hierarchical composition strategy for modeling complex interactions across different prior types. Extensive experiments on three large-scale datasets demonstrate that our method significantly enhances both accuracy and beyond-accuracy objectives. We also show that human priors allow the backbone model to more effectively leverage longer context lengths and larger model sizes.