UniMixer：推薦システムにおけるスケーリング則のための統一アーキテクチャ

UniMixer: A Unified Architecture for Scaling Laws in Recommendation Systems

April 1, 2026

著者: Mingming Ha, Guanchen Wang, Linxun Chen, Xuan Rao, Yuexin Shi, Tianbao Ma, Zhaojie Liu, Yunqian Fan, Zilong Lu, Yanan Niu, Han Li, Kun Gai

cs.AI

要旨

近年、推薦モデルのスケーリング則が注目を集めており、これは推薦システムの性能とパラメータ数/FLOPsの関係を規定するものである。現在、推薦モデルにおけるスケーリングを実現する主要なアーキテクチャは、注意機構ベース、TokenMixerベース、因子分解機ベースの3種類に大別され、これらは設計思想と構造の両面で根本的な差異を示している。本論文では、推薦システムにおける統一スケーリングアーキテクチャ「UniMixer」を提案し、スケーリング効率の向上と主流スケーリングブロックを統合する理論的枠組みの確立を目指す。ルールベースのTokenMixerを等価なパラメータ化構造に変換することで、トークン混合パターンをモデル訓練中に最適化・学習可能な汎用パラメータ化特徴混合モジュールを構築する。この汎用パラメータ化トークン混合は、TokenMixerが持つ「ヘッド数とトークン数が一致しなければならない」という制約を除去する。さらに、注意機構ベース、TokenMixerベース、因子分解機ベースの手法間の関連性を橋渡しする、推薦システム向け統一スケーリングモジュール設計フレームワークを確立する。スケーリングROIを更に向上させるため、モデルパラメータと計算コストを圧縮しつつ性能を大幅に改善する軽量版UniMixingモジュール「UniMixing-Lite」を設計した。スケーリング曲線は下図に示す。UniMixerの優れたスケーリング能力を検証するため、大規模なオフライン実験とオンライン実験を実施した。

English

In recent years, the scaling laws of recommendation models have attracted increasing attention, which govern the relationship between performance and parameters/FLOPs of recommenders. Currently, there are three mainstream architectures for achieving scaling in recommendation models, namely attention-based, TokenMixer-based, and factorization-machine-based methods, which exhibit fundamental differences in both design philosophy and architectural structure. In this paper, we propose a unified scaling architecture for recommendation systems, namely UniMixer, to improve scaling efficiency and establish a unified theoretical framework that unifies the mainstream scaling blocks. By transforming the rule-based TokenMixer to an equivalent parameterized structure, we construct a generalized parameterized feature mixing module that allows the token mixing patterns to be optimized and learned during model training. Meanwhile, the generalized parameterized token mixing removes the constraint in TokenMixer that requires the number of heads to be equal to the number of tokens. Furthermore, we establish a unified scaling module design framework for recommender systems, which bridges the connections among attention-based, TokenMixer-based, and factorization-machine-based methods. To further boost scaling ROI, a lightweight UniMixing module is designed, UniMixing-Lite, which further compresses the model parameters and computational cost while significantly improve the model performance. The scaling curves are shown in the following figure. Extensive offline and online experiments are conducted to verify the superior scaling abilities of UniMixer.