ActionPiece : Tokenisation contextuelle des séquences d'actions pour la recommandation générative

ActionPiece: Contextually Tokenizing Action Sequences for Generative Recommendation

February 19, 2025

Auteurs: Yupeng Hou, Jianmo Ni, Zhankui He, Noveen Sachdeva, Wang-Cheng Kang, Ed H. Chi, Julian McAuley, Derek Zhiyuan Cheng

cs.AI

Résumé

La recommandation générative (Generative Recommendation, GR) est un paradigme émergent où les actions des utilisateurs sont tokenisées en motifs de tokens discrets et générées de manière autorégressive comme prédictions. Cependant, les modèles GR existants tokenisent chaque action indépendamment, attribuant les mêmes tokens fixes à des actions identiques dans toutes les séquences, sans tenir compte des relations contextuelles. Ce manque de sensibilité au contexte peut entraîner des performances sous-optimales, car la même action peut avoir des significations différentes selon son contexte environnant. Pour résoudre ce problème, nous proposons ActionPiece, qui intègre explicitement le contexte lors de la tokenisation des séquences d'actions. Dans ActionPiece, chaque action est représentée comme un ensemble de caractéristiques d'items, qui servent de tokens initiaux. Étant donné les corpus de séquences d'actions, nous construisons le vocabulaire en fusionnant les motifs de caractéristiques en nouveaux tokens, en fonction de leur fréquence de co-occurrence à la fois au sein des ensembles individuels et entre ensembles adjacents. Considérant la nature non ordonnée des ensembles de caractéristiques, nous introduisons en outre une régularisation par permutation d'ensemble, qui produit plusieurs segmentations des séquences d'actions avec la même sémantique. Les expériences sur des jeux de données publics démontrent qu'ActionPiece surpasse systématiquement les méthodes existantes de tokenisation d'actions, améliorant NDCG@10 de 6,00 % à 12,82 %.

English

Generative recommendation (GR) is an emerging paradigm where user actions are tokenized into discrete token patterns and autoregressively generated as predictions. However, existing GR models tokenize each action independently, assigning the same fixed tokens to identical actions across all sequences without considering contextual relationships. This lack of context-awareness can lead to suboptimal performance, as the same action may hold different meanings depending on its surrounding context. To address this issue, we propose ActionPiece to explicitly incorporate context when tokenizing action sequences. In ActionPiece, each action is represented as a set of item features, which serve as the initial tokens. Given the action sequence corpora, we construct the vocabulary by merging feature patterns as new tokens, based on their co-occurrence frequency both within individual sets and across adjacent sets. Considering the unordered nature of feature sets, we further introduce set permutation regularization, which produces multiple segmentations of action sequences with the same semantics. Experiments on public datasets demonstrate that ActionPiece consistently outperforms existing action tokenization methods, improving NDCG@10 by 6.00% to 12.82%.