OnePiece: Integrando Engenharia de Contexto e Raciocínio ao Sistema de Classificação em Cascata Industrial

Resumo

Apesar do crescente interesse em replicar o sucesso escalável dos grandes modelos de linguagem (LLMs) em sistemas industriais de busca e recomendação, a maioria dos esforços industriais existentes permanece limitada ao transplante de arquiteturas Transformer, que trazem apenas melhorias incrementais sobre os robustos Modelos de Recomendação com Aprendizado Profundo (DLRMs). Sob uma perspectiva de primeiros princípios, os avanços dos LLMs decorrem não apenas de suas arquiteturas, mas também de dois mecanismos complementares: a engenharia de contexto, que enriquece as consultas de entrada brutas com pistas contextuais para melhor eliciar as capacidades do modelo, e o raciocínio em múltiplos passos, que refina iterativamente as saídas do modelo por meio de caminhos de raciocínio intermediários. No entanto, esses dois mecanismos e seu potencial para desbloquear melhorias substanciais permanecem amplamente inexplorados em sistemas de classificação industrial. Neste artigo, propomos o OnePiece, um framework unificado que integra de forma contínua a engenharia de contexto e o raciocínio no estilo LLM tanto nos modelos de recuperação quanto de classificação dos pipelines em cascata industriais. O OnePiece é construído sobre uma arquitetura puramente Transformer e introduz três inovações principais: (1) engenharia de contexto estruturada, que amplia o histórico de interações com sinais de preferência e cenário e os unifica em uma sequência de entrada tokenizada estruturada para recuperação e classificação; (2) raciocínio latente em blocos, que equipa o modelo com refinamento de representações em múltiplos passos e escala a largura de banda do raciocínio por meio do tamanho do bloco; (3) treinamento multitarefa progressivo, que aproveita cadeias de feedback do usuário para supervisionar efetivamente os passos de raciocínio durante o treinamento. O OnePiece foi implantado no principal cenário de busca personalizada da Shopee e alcança ganhos consistentes online em diferentes métricas-chave de negócios, incluindo mais de +2% de GMV/UU e um aumento de +2,90% na receita publicitária.

English

Despite the growing interest in replicating the scaled success of large language models (LLMs) in industrial search and recommender systems, most existing industrial efforts remain limited to transplanting Transformer architectures, which bring only incremental improvements over strong Deep Learning Recommendation Models (DLRMs). From a first principle perspective, the breakthroughs of LLMs stem not only from their architectures but also from two complementary mechanisms: context engineering, which enriches raw input queries with contextual cues to better elicit model capabilities, and multi-step reasoning, which iteratively refines model outputs through intermediate reasoning paths. However, these two mechanisms and their potential to unlock substantial improvements remain largely underexplored in industrial ranking systems. In this paper, we propose OnePiece, a unified framework that seamlessly integrates LLM-style context engineering and reasoning into both retrieval and ranking models of industrial cascaded pipelines. OnePiece is built on a pure Transformer backbone and further introduces three key innovations: (1) structured context engineering, which augments interaction history with preference and scenario signals and unifies them into a structured tokenized input sequence for both retrieval and ranking; (2) block-wise latent reasoning, which equips the model with multi-step refinement of representations and scales reasoning bandwidth via block size; (3) progressive multi-task training, which leverages user feedback chains to effectively supervise reasoning steps during training. OnePiece has been deployed in the main personalized search scenario of Shopee and achieves consistent online gains across different key business metrics, including over +2% GMV/UU and a +2.90% increase in advertising revenue.

OnePiece: Integrando Engenharia de Contexto e Raciocínio ao Sistema de Classificação em Cascata Industrial

OnePiece: Bringing Context Engineering and Reasoning to Industrial Cascade Ranking System

Resumo

Support