知識と幾何学の分離：ストリーミング推薦のための更新可能な事前学習転移

要旨

産業用レコメンダーは、事前学習してから転移するパラダイムをますます採用しているが、行動分布のドリフトにより、行動シーケンスから何を学習するか、そして事前学習モデルが継続的に更新されていく中で学習済み知識をどのように転移するかという2つの問いが生じる。これらの問いを解決するために、我々はKnowledge-Geometry Decoupling（KGD）を提案する。学習すべき内容については、従来の次トークン予測は隣接性を依存関係として扱い、無関係なセッションをまたぐ疑似遷移を符号化する可能性がある。我々は、協調的または意味的に関連する将来のアイテムのみを教師信号として保持するBehavioral Multi-Token Prediction（BMTP）を導入し、よりクリーンで転移可能な行動知識を実現する。転移方法については、事前学習済み知識とタスク固有の幾何構造は、共有パラメータに対して相反する最適化要求を課す。これに対処するため、KGDはそれらを別々のパラメータセットに割り当てる。すなわち、更新可能なエンコーダが行動知識を保持し、タスク学習器は読み取り専用のクロスアテンションを通じて文脈化されたエンコーダ状態を読み取り、事前学習済み埋め込みに直交するAnchored Calibration Residual（ACR）を通じてタスク固有の幾何構造を書き込む。この分離された所有権により、タスク勾配の干渉や下流適応の無効化なしに、継続的な知識更新が可能になる。KGDは、8つの公開ベンチマークにおいて強力な事前学習-転移ベースラインを4〜12%上回り、ベースラインが改善を示さない90日間の本番ストリームでもその優位性を維持する。KGDはShopeeで完全に本番展開されている。Shopeeホームページ検索における実運用A/Bテストでは、ユーザーあたりGMVを1.75%、広告収益を1.53%増加させ、その高い実用価値を示している。KGDの中核実装は https://github.com/FuCongResearchSquad/KGD4REC で提供している。

English

Industrial recommenders increasingly adopt the pretrain-then-transfer paradigm, yet behavioral distribution drift raises two questions: what to learn from behavior sequences, and how to transfer the learned knowledge while the pretrained model is continually refreshed. To resolve them, we propose Knowledge-Geometry Decoupling (KGD). For what to learn, conventional next-token prediction treats adjacency as dependency and may encode spurious transitions across unrelated sessions. We introduce Behavioral Multi-Token Prediction (BMTP) to retain only collaboratively or semantically related future items as supervision, yielding cleaner and more transferable behavioral knowledge. For how to transfer, pretrained knowledge and task-specific geometry impose conflicting optimization demands on shared parameters. To handle it, KGD assigns them to separate parameter sets: a refreshable encoder owns behavioral knowledge, while a task learner reads contextualized encoder states through read-only cross-attention and writes task-specific geometry through Anchored Calibration Residual (ACR) orthogonal to the pretrained embedding. The decoupled ownership enables continual knowledge refresh without task-gradient interference or invalidating downstream adaptation. KGD improves over strong pretrain-transfer baselines by 4-12% on eight public benchmarks and sustains its advantage over a 90-day production stream where baselines show no gains. KGD has been fully deployed in Shopee. In a live A/B test on Shopee Homepage Search, it increases GMV per user by 1.75% and advertising revenue by 1.53%, demonstrating its high practical value. We provide the core implementation of KGD at https://github.com/FuCongResearchSquad/KGD4REC.