UniMixer: 추천 시스템의 스케일링 법칙을 위한 통합 아키텍처

UniMixer: A Unified Architecture for Scaling Laws in Recommendation Systems

April 1, 2026

저자: Mingming Ha, Guanchen Wang, Linxun Chen, Xuan Rao, Yuexin Shi, Tianbao Ma, Zhaojie Liu, Yunqian Fan, Zilong Lu, Yanan Niu, Han Li, Kun Gai

cs.AI

초록

최근 몇 년간 추천 모델의 스케일링 법칙에 대한 관심이 높아지고 있으며, 이는 추천 시스템의 성능과 매개변수/FLOPs 간의 관계를 규정한다. 현재 추천 모델의 스케일링을 달성하기 위한 세 가지 주류 아키텍처로는 어텐션 기반, TokenMixer 기반, 인수분해 기계 기반 방법이 있으며, 이들은 설계 철학과 구조적 측면에서 근본적인 차이를 보인다. 본 논문에서는 스케일링 효율성을 향상시키고 주류 스케일링 블록을 통합하는 이론적 프레임워크를 구축하기 위해 추천 시스템을 위한 통합 스케일링 아키텍처인 UniMixer를 제안한다. 규칙 기반 TokenMixer를 등가의 매개변수화 구조로 변환함으로써, 토큰 혼합 패턴이 모델 학습 과정에서 최적화 및 학습될 수 있는 일반화된 매개변수화 특징 혼합 모듈을 구성한다. 동시에 일반화된 매개변수화 토큰 혼합은 TokenMixer의 헤드 수가 토큰 수와 동일해야 한다는 제약을 제거한다. 더 나아가 어텐션 기반, TokenMixer 기반, 인수분해 기계 기반 방법 간의 연관성을 연결하는 추천 시스템을 위한 통합 스케일링 모듈 설계 프레임워크를 수립한다. 스케일링 ROI를 추가로 향상시키기 위해 경량화된 UniMixing 모듈인 UniMixing-Lite를 설계하였으며, 이는 모델 성능을 크게 향상시키면서 모델 매개변수와 계산 비용을 추가로 압축한다. 스케일링 곡선은 다음 그림에 나타나 있다. UniMixer의 우수한 스케일링 능력을 검증하기 위해 방대한 오프라인 및 온라인 실험이 수행되었다.

English

In recent years, the scaling laws of recommendation models have attracted increasing attention, which govern the relationship between performance and parameters/FLOPs of recommenders. Currently, there are three mainstream architectures for achieving scaling in recommendation models, namely attention-based, TokenMixer-based, and factorization-machine-based methods, which exhibit fundamental differences in both design philosophy and architectural structure. In this paper, we propose a unified scaling architecture for recommendation systems, namely UniMixer, to improve scaling efficiency and establish a unified theoretical framework that unifies the mainstream scaling blocks. By transforming the rule-based TokenMixer to an equivalent parameterized structure, we construct a generalized parameterized feature mixing module that allows the token mixing patterns to be optimized and learned during model training. Meanwhile, the generalized parameterized token mixing removes the constraint in TokenMixer that requires the number of heads to be equal to the number of tokens. Furthermore, we establish a unified scaling module design framework for recommender systems, which bridges the connections among attention-based, TokenMixer-based, and factorization-machine-based methods. To further boost scaling ROI, a lightweight UniMixing module is designed, UniMixing-Lite, which further compresses the model parameters and computational cost while significantly improve the model performance. The scaling curves are shown in the following figure. Extensive offline and online experiments are conducted to verify the superior scaling abilities of UniMixer.