Hiformer: 추천 시스템을 위한 이종 특성 상호작용 학습을 위한 트랜스포머

초록

특성 상호작용 학습은 추천 시스템 구축의 핵심 기반이다. 웹 규모 애플리케이션에서는 희소하고 거대한 입력 특성 공간으로 인해 특성 상호작용 학습이 매우 어려우며, 동시에 지수적으로 증가하는 해결 공간 때문에 효과적인 특성 상호작용을 수동으로 설계하는 것은 불가능하다. 우리는 어텐션 레이어를 갖춘 Transformer 기반 아키텍처를 활용하여 특성 상호작용을 자동으로 포착하는 방법을 제안한다. Transformer 아키텍처는 자연어 처리 및 컴퓨터 비전과 같은 여러 분야에서 큰 성공을 거두었다. 그러나 산업 현장에서는 특성 상호작용 모델링을 위해 Transformer 아키텍처를 채택한 사례가 많지 않다. 우리는 이러한 격차를 해소하고자 한다. 우리는 웹 규모 추천 시스템에 기본 Transformer 아키텍처를 적용하는 데 있어 두 가지 주요 과제를 확인했다: (1) Transformer 아키텍처는 자기 어텐션 레이어에서 이질적인 특성 상호작용을 포착하지 못한다; (2) Transformer 아키텍처의 서빙 지연 시간이 웹 규모 추천 시스템에 배포하기에는 너무 높을 수 있다. 우리는 먼저 이질적인 자기 어텐션 레이어를 제안하는데, 이는 Transformer의 자기 어텐션 레이어를 단순하지만 효과적으로 수정하여 특성 상호작용의 이질성을 고려한 것이다. 그런 다음, 모델 표현력을 더욱 향상시키기 위해 Hiformer(Heterogeneous Interaction Transformer)를 소개한다. 저랭크 근사 및 모델 가지치기를 통해 Hiformer는 온라인 배포를 위한 빠른 추론을 가능하게 한다. 광범위한 오프라인 실험 결과는 Hiformer 모델의 효과성과 효율성을 입증한다. 우리는 Hiformer 모델을 Google Play의 대규모 앱 순위 모델에 성공적으로 배포하여 주요 참여 지표에서 상당한 개선(최대 +2.66%)을 달성했다.

English

Learning feature interaction is the critical backbone to building recommender systems. In web-scale applications, learning feature interaction is extremely challenging due to the sparse and large input feature space; meanwhile, manually crafting effective feature interactions is infeasible because of the exponential solution space. We propose to leverage a Transformer-based architecture with attention layers to automatically capture feature interactions. Transformer architectures have witnessed great success in many domains, such as natural language processing and computer vision. However, there has not been much adoption of Transformer architecture for feature interaction modeling in industry. We aim at closing the gap. We identify two key challenges for applying the vanilla Transformer architecture to web-scale recommender systems: (1) Transformer architecture fails to capture the heterogeneous feature interactions in the self-attention layer; (2) The serving latency of Transformer architecture might be too high to be deployed in web-scale recommender systems. We first propose a heterogeneous self-attention layer, which is a simple yet effective modification to the self-attention layer in Transformer, to take into account the heterogeneity of feature interactions. We then introduce Hiformer (Heterogeneous Interaction Transformer) to further improve the model expressiveness. With low-rank approximation and model pruning, \hiformer enjoys fast inference for online deployment. Extensive offline experiment results corroborates the effectiveness and efficiency of the Hiformer model. We have successfully deployed the Hiformer model to a real world large scale App ranking model at Google Play, with significant improvement in key engagement metrics (up to +2.66\%).

Hiformer: 추천 시스템을 위한 이종 특성 상호작용 학습을 위한 트랜스포머

Hiformer: Heterogeneous Feature Interactions Learning with Transformers for Recommender Systems

초록

Support