ActionPiece: Kontextuelle Tokenisierung von Aktionssequenzen für generative Empfehlungssysteme

ActionPiece: Contextually Tokenizing Action Sequences for Generative Recommendation

February 19, 2025

Autoren: Yupeng Hou, Jianmo Ni, Zhankui He, Noveen Sachdeva, Wang-Cheng Kang, Ed H. Chi, Julian McAuley, Derek Zhiyuan Cheng

cs.AI

Zusammenfassung

Generative Recommendation (GR) ist ein aufstrebendes Paradigma, bei dem Benutzeraktionen in diskrete Token-Muster tokenisiert und autoregressiv als Vorhersagen generiert werden. Bisherige GR-Modelle tokenisieren jedoch jede Aktion unabhängig und weisen identischen Aktionen in allen Sequenzen dieselben festen Token zu, ohne kontextuelle Beziehungen zu berücksichtigen. Dieser Mangel an Kontextbewusstsein kann zu suboptimalen Ergebnissen führen, da dieselbe Aktion je nach umgebendem Kontext unterschiedliche Bedeutungen haben kann. Um dieses Problem zu lösen, schlagen wir ActionPiece vor, das den Kontext explizit bei der Tokenisierung von Aktionssequenzen einbezieht. In ActionPiece wird jede Aktion als eine Menge von Item-Features dargestellt, die als initiale Token dienen. Basierend auf den Aktionssequenz-Korpora erstellen wir das Vokabular, indem wir Feature-Muster basierend auf ihrer gemeinsamen Auftrittshäufigkeit sowohl innerhalb einzelner Mengen als auch über benachbarte Mengen hinweg als neue Token zusammenführen. Aufgrund der ungeordneten Natur von Feature-Mengen führen wir zusätzlich eine Set-Permutationsregularisierung ein, die mehrere Segmentierungen von Aktionssequenzen mit derselben Semantik erzeugt. Experimente auf öffentlichen Datensätzen zeigen, dass ActionPiece bestehende Methoden zur Aktions-Tokenisierung durchweg übertrifft und NDCG@10 um 6,00 % bis 12,82 % verbessert.

English

Generative recommendation (GR) is an emerging paradigm where user actions are tokenized into discrete token patterns and autoregressively generated as predictions. However, existing GR models tokenize each action independently, assigning the same fixed tokens to identical actions across all sequences without considering contextual relationships. This lack of context-awareness can lead to suboptimal performance, as the same action may hold different meanings depending on its surrounding context. To address this issue, we propose ActionPiece to explicitly incorporate context when tokenizing action sequences. In ActionPiece, each action is represented as a set of item features, which serve as the initial tokens. Given the action sequence corpora, we construct the vocabulary by merging feature patterns as new tokens, based on their co-occurrence frequency both within individual sets and across adjacent sets. Considering the unordered nature of feature sets, we further introduce set permutation regularization, which produces multiple segmentations of action sequences with the same semantics. Experiments on public datasets demonstrate that ActionPiece consistently outperforms existing action tokenization methods, improving NDCG@10 by 6.00% to 12.82%.