ActionPiece: Tokenizzazione Contestuale di Sequenze di Azioni per la Raccomandazione Generativa

ActionPiece: Contextually Tokenizing Action Sequences for Generative Recommendation

February 19, 2025

Autori: Yupeng Hou, Jianmo Ni, Zhankui He, Noveen Sachdeva, Wang-Cheng Kang, Ed H. Chi, Julian McAuley, Derek Zhiyuan Cheng

cs.AI

Abstract

La raccomandazione generativa (Generative Recommendation, GR) è un paradigma emergente in cui le azioni degli utenti vengono tokenizzate in modelli di token discreti e generate in modo autoregressivo come previsioni. Tuttavia, i modelli GR esistenti tokenizzano ogni azione in modo indipendente, assegnando gli stessi token fissi ad azioni identiche in tutte le sequenze, senza considerare le relazioni contestuali. Questa mancanza di consapevolezza del contesto può portare a prestazioni subottimali, poiché la stessa azione può assumere significati diversi a seconda del contesto circostante. Per affrontare questo problema, proponiamo ActionPiece per incorporare esplicitamente il contesto durante la tokenizzazione delle sequenze di azioni. In ActionPiece, ogni azione è rappresentata come un insieme di caratteristiche degli elementi, che fungono da token iniziali. Dato il corpus delle sequenze di azioni, costruiamo il vocabolario unendo i modelli di caratteristiche come nuovi token, basandosi sulla loro frequenza di co-occorrenza sia all'interno dei singoli insiemi che tra insiemi adiacenti. Considerando la natura non ordinata degli insiemi di caratteristiche, introduciamo ulteriormente una regolarizzazione delle permutazioni degli insiemi, che produce multiple segmentazioni delle sequenze di azioni con la stessa semantica. Gli esperimenti su dataset pubblici dimostrano che ActionPiece supera costantemente i metodi esistenti di tokenizzazione delle azioni, migliorando NDCG@10 dal 6,00% al 12,82%.

English

Generative recommendation (GR) is an emerging paradigm where user actions are tokenized into discrete token patterns and autoregressively generated as predictions. However, existing GR models tokenize each action independently, assigning the same fixed tokens to identical actions across all sequences without considering contextual relationships. This lack of context-awareness can lead to suboptimal performance, as the same action may hold different meanings depending on its surrounding context. To address this issue, we propose ActionPiece to explicitly incorporate context when tokenizing action sequences. In ActionPiece, each action is represented as a set of item features, which serve as the initial tokens. Given the action sequence corpora, we construct the vocabulary by merging feature patterns as new tokens, based on their co-occurrence frequency both within individual sets and across adjacent sets. Considering the unordered nature of feature sets, we further introduce set permutation regularization, which produces multiple segmentations of action sequences with the same semantics. Experiments on public datasets demonstrate that ActionPiece consistently outperforms existing action tokenization methods, improving NDCG@10 by 6.00% to 12.82%.