ActionPiece: Контекстуальная токенизация последовательностей действий для генеративных рекомендательных систем

ActionPiece: Contextually Tokenizing Action Sequences for Generative Recommendation

February 19, 2025

Авторы: Yupeng Hou, Jianmo Ni, Zhankui He, Noveen Sachdeva, Wang-Cheng Kang, Ed H. Chi, Julian McAuley, Derek Zhiyuan Cheng

cs.AI

Аннотация

Генеративная рекомендация (GR) — это новая парадигма, в которой действия пользователей токенизируются в дискретные шаблоны токенов и авторегрессивно генерируются как предсказания. Однако существующие модели GR токенизируют каждое действие независимо, присваивая одинаковые фиксированные токены идентичным действиям во всех последовательностях, не учитывая контекстуальные связи. Это отсутствие учета контекста может приводить к неоптимальной производительности, поскольку одно и то же действие может иметь разное значение в зависимости от окружающего контекста. Чтобы решить эту проблему, мы предлагаем метод ActionPiece, который явно учитывает контекст при токенизации последовательностей действий. В ActionPiece каждое действие представлено как набор характеристик элементов, которые служат начальными токенами. На основе корпусов последовательностей действий мы строим словарь, объединяя шаблоны характеристик в новые токены на основе их частоты совместного появления как внутри отдельных наборов, так и между соседними наборами. Учитывая неупорядоченный характер наборов характеристик, мы также вводим регуляризацию перестановок наборов, которая создает несколько сегментаций последовательностей действий с одинаковой семантикой. Эксперименты на публичных наборах данных показывают, что ActionPiece стабильно превосходит существующие методы токенизации действий, улучшая NDCG@10 на 6,00% до 12,82%.

English

Generative recommendation (GR) is an emerging paradigm where user actions are tokenized into discrete token patterns and autoregressively generated as predictions. However, existing GR models tokenize each action independently, assigning the same fixed tokens to identical actions across all sequences without considering contextual relationships. This lack of context-awareness can lead to suboptimal performance, as the same action may hold different meanings depending on its surrounding context. To address this issue, we propose ActionPiece to explicitly incorporate context when tokenizing action sequences. In ActionPiece, each action is represented as a set of item features, which serve as the initial tokens. Given the action sequence corpora, we construct the vocabulary by merging feature patterns as new tokens, based on their co-occurrence frequency both within individual sets and across adjacent sets. Considering the unordered nature of feature sets, we further introduce set permutation regularization, which produces multiple segmentations of action sequences with the same semantics. Experiments on public datasets demonstrate that ActionPiece consistently outperforms existing action tokenization methods, improving NDCG@10 by 6.00% to 12.82%.