OneRank: Arquitectura de ranking unificada y nativa de Transformers para recomendación multi-tarea

Resumen

El aprendizaje multitarea (MTL) es esencial en los sistemas de recomendación para habilitar un aprendizaje complementario entre diversas retroalimentaciones de los usuarios. Si bien las prácticas industriales modernas han pasado de las DNN a arquitecturas centradas en Transformers para fortalecer el modelado de secuencias y la capacidad de escalado, aún disocian la codificación de características de la predicción multitarea, tratando al Transformer como un codificador independiente de la tarea. Este diseño limita fundamentalmente el rendimiento y la escalabilidad al (1) crear un cuello de botella de información bajo objetivos de tarea heterogéneos, (2) inducir interferencia de gradientes que conduce al fenómeno de balancín, y (3) forzar una transición del flujo de datos en la que el aprendizaje de representaciones adaptativas al contexto basado en atención se convierte en una predicción de tarea estática de avance directo con dinámicas incompatibles de lectura-escritura de información. Proponemos OneRank, un marco de ranking multitarea nativo de Transformers que elimina la separación entre codificador y predictor e introduce canales privados por tarea para el aprendizaje de representaciones hacia adelante y la optimización hacia atrás, posibilitando un aprendizaje especializado por tarea y reduciendo la interferencia entre tareas. En el pase hacia adelante, OneRank aprende representaciones específicas de cada tarea de forma ascendente mediante selección de información condicionada por tarea, contextualización consciente del candidato e interacción controlada entre tareas. En el pase hacia atrás, el desacople de gradientes entre tareas aísla las actualizaciones de parámetros privados de cada tarea de los módulos de extracción de conocimiento compartido, evitando la transferencia negativa. Reemplazamos además los puntuadores MLP estáticos y específicos de cada tarea por una puntuación basada en emparejamiento dinámico para un ranking personalizado sensible al contexto. Al internalizar el razonamiento multitarea dentro de la pila del Transformer, OneRank establece un paradigma arquitectónico unificado y escalable. Experimentos offline y online en conjuntos de datos industriales a gran escala muestran que OneRank supera significativamente a los puntos de referencia de última generación, manteniendo al mismo tiempo la eficiencia computacional.

English

Multi-task learning (MTL) is essential in recommender systems to enable complementary learning among diverse user feedback. While modern industrial practices have shifted from DNNs to Transformer-centric architectures to strengthen sequence modeling and scaling capacity, they still decouple feature encoding from multi-task prediction, treating the Transformer as a task-agnostic encoder. This design fundamentally limits the performance and scalability by (1) creating an information bottleneck under heterogeneous task objectives, (2) inducing gradient interference that leads to the seesaw phenomenon, and (3) forcing a dataflow transition in which attention-based, context-adaptive representation learning is converted to static feed-forward task prediction with incompatible information read-write dynamics. We propose OneRank, a Transformer-native multi-task ranking framework that eliminates encoder-predictor separation and introduces task-private channels for forward representation learning and backward optimization, enabling task-specialized learning while reducing inter-task interference. In the forward pass, OneRank learns task-specific representations bottom-up through task-conditioned information selection, candidate-aware contextualization, and controlled cross-task interaction. In the backward pass, cross-task gradient detachment isolates task-private parameter updates from shared knowledge extraction modules, preventing negative transfer. We further replace static task-specific MLP scorers with dynamic matching-based scoring for context-aware personalized ranking. By internalizing multi-task reasoning within the Transformer stack, OneRank establishes a unified and scalable architectural paradigm. Offline and online experiments on large-scale industrial datasets show that OneRank significantly outperforms state-of-the-art baselines while maintaining computational efficiency.