OnePiece: Context Engineering en Redeneren Integreren in Industriële Cascade-Rankingsystemen

OnePiece: Bringing Context Engineering and Reasoning to Industrial Cascade Ranking System

September 22, 2025

Auteurs: Sunhao Dai, Jiakai Tang, Jiahua Wu, Kun Wang, Yuxuan Zhu, Bingjun Chen, Bangyang Hong, Yu Zhao, Cong Fu, Kangle Wu, Yabo Ni, Anxiang Zeng, Wenjie Wang, Xu Chen, Jun Xu, See-Kiong Ng

cs.AI

Samenvatting

Ondanks de groeiende interesse in het repliceren van het opgeschaalde succes van grote taalmodelen (LLM's) in industriële zoek- en aanbevelingssystemen, blijven de meeste bestaande industriële inspanningen beperkt tot het overnemen van Transformer-architecturen, die slechts incrementele verbeteringen bieden ten opzichte van sterke Deep Learning Aanbevelingsmodellen (DLRM's). Vanuit een eerste-principe perspectief komen de doorbraken van LLM's niet alleen voort uit hun architectuur, maar ook uit twee complementaire mechanismen: context engineering, dat ruwe invoerquery's verrijkt met contextuele signalen om de mogelijkheden van het model beter te benutten, en meerstaps redeneren, dat modeluitvoeren iteratief verfijnt via tussenliggende redeneerpaden. Deze twee mechanismen en hun potentieel om aanzienlijke verbeteringen te ontgrendelen, blijven echter grotendeels onontgonnen in industriële rankingsystemen. In dit artikel stellen we OnePiece voor, een uniform raamwerk dat LLM-stijl context engineering en redeneren naadloos integreert in zowel retrievals- als rankingsmodellen van industriële cascadepijplijnen. OnePiece is gebouwd op een pure Transformer-backbone en introduceert verder drie belangrijke innovaties: (1) gestructureerd context engineering, dat interactiegeschiedenis verrijkt met voorkeurs- en scenariosignalen en deze samenbrengt in een gestructureerde getokeniseerde invoerreeks voor zowel retrieval als ranking; (2) bloksgewijs latent redeneren, dat het model uitrust met meerstaps verfijning van representaties en de redeneerbandbreedte schaalt via blokgrootte; (3) progressieve multitask-training, die gebruikersfeedbackketens benut om redeneerstappen effectief te begeleiden tijdens de training. OnePiece is geïmplementeerd in het belangrijkste gepersonaliseerde zoekscenario van Shopee en behaalt consistente online verbeteringen in verschillende belangrijke bedrijfsmatige metrieken, waaronder meer dan +2% GMV/UU en een stijging van +2,90% in advertentie-inkomsten.

English

Despite the growing interest in replicating the scaled success of large language models (LLMs) in industrial search and recommender systems, most existing industrial efforts remain limited to transplanting Transformer architectures, which bring only incremental improvements over strong Deep Learning Recommendation Models (DLRMs). From a first principle perspective, the breakthroughs of LLMs stem not only from their architectures but also from two complementary mechanisms: context engineering, which enriches raw input queries with contextual cues to better elicit model capabilities, and multi-step reasoning, which iteratively refines model outputs through intermediate reasoning paths. However, these two mechanisms and their potential to unlock substantial improvements remain largely underexplored in industrial ranking systems. In this paper, we propose OnePiece, a unified framework that seamlessly integrates LLM-style context engineering and reasoning into both retrieval and ranking models of industrial cascaded pipelines. OnePiece is built on a pure Transformer backbone and further introduces three key innovations: (1) structured context engineering, which augments interaction history with preference and scenario signals and unifies them into a structured tokenized input sequence for both retrieval and ranking; (2) block-wise latent reasoning, which equips the model with multi-step refinement of representations and scales reasoning bandwidth via block size; (3) progressive multi-task training, which leverages user feedback chains to effectively supervise reasoning steps during training. OnePiece has been deployed in the main personalized search scenario of Shopee and achieves consistent online gains across different key business metrics, including over +2% GMV/UU and a +2.90% increase in advertising revenue.