ActionPiece: Tokenización Contextual de Secuencias de Acciones para Recomendación Generativa

ActionPiece: Contextually Tokenizing Action Sequences for Generative Recommendation

February 19, 2025

Autores: Yupeng Hou, Jianmo Ni, Zhankui He, Noveen Sachdeva, Wang-Cheng Kang, Ed H. Chi, Julian McAuley, Derek Zhiyuan Cheng

cs.AI

Resumen

La recomendación generativa (GR, por sus siglas en inglés) es un paradigma emergente en el que las acciones de los usuarios se tokenizan en patrones de tokens discretos y se generan de manera autoregresiva como predicciones. Sin embargo, los modelos de GR existentes tokenizan cada acción de forma independiente, asignando los mismos tokens fijos a acciones idénticas en todas las secuencias sin considerar las relaciones contextuales. Esta falta de conciencia contextual puede llevar a un rendimiento subóptimo, ya que la misma acción puede tener significados diferentes dependiendo de su contexto circundante. Para abordar este problema, proponemos ActionPiece, que incorpora explícitamente el contexto al tokenizar secuencias de acciones. En ActionPiece, cada acción se representa como un conjunto de características de ítems, que sirven como tokens iniciales. Dado el corpus de secuencias de acciones, construimos el vocabulario fusionando patrones de características como nuevos tokens, basándonos en su frecuencia de co-ocurrencia tanto dentro de conjuntos individuales como en conjuntos adyacentes. Teniendo en cuenta la naturaleza no ordenada de los conjuntos de características, introducimos además una regularización de permutación de conjuntos, que produce múltiples segmentaciones de secuencias de acciones con la misma semántica. Los experimentos en conjuntos de datos públicos demuestran que ActionPiece supera consistentemente los métodos existentes de tokenización de acciones, mejorando el NDCG@10 entre un 6.00% y un 12.82%.

English

Generative recommendation (GR) is an emerging paradigm where user actions are tokenized into discrete token patterns and autoregressively generated as predictions. However, existing GR models tokenize each action independently, assigning the same fixed tokens to identical actions across all sequences without considering contextual relationships. This lack of context-awareness can lead to suboptimal performance, as the same action may hold different meanings depending on its surrounding context. To address this issue, we propose ActionPiece to explicitly incorporate context when tokenizing action sequences. In ActionPiece, each action is represented as a set of item features, which serve as the initial tokens. Given the action sequence corpora, we construct the vocabulary by merging feature patterns as new tokens, based on their co-occurrence frequency both within individual sets and across adjacent sets. Considering the unordered nature of feature sets, we further introduce set permutation regularization, which produces multiple segmentations of action sequences with the same semantics. Experiments on public datasets demonstrate that ActionPiece consistently outperforms existing action tokenization methods, improving NDCG@10 by 6.00% to 12.82%.