OneRank: Einheitliche Transformer-native Ranking-Architektur für Multi-Task-Empfehlung

Zusammenfassung

Multitask-Lernen (MTL) ist in Empfehlungssystemen unerlässlich, um komplementäres Lernen aus verschiedenartigem Nutzerfeedback zu ermöglichen. Während moderne industrielle Praktiken von DNNs auf transformerzentrische Architekturen umgestellt haben, um die Sequenzmodellierung und Skalierungskapazität zu stärken, entkoppeln sie weiterhin die Merkmalskodierung von der Multitask-Vorhersage und behandeln den Transformer als aufgabenagnostischen Encoder. Dieses Design schränkt die Leistungsfähigkeit und Skalierbarkeit grundlegend ein, indem es (1) einen Informationsengpass unter heterogenen Aufgabenstellungen erzeugt, (2) Gradienteninterferenz induziert, die zum Wippphänomen führt, und (3) einen Datenflussübergang erzwingt, bei dem aufmerksamkeitsbasiertes, kontextadaptives Repräsentationslernen in eine statische vorwärtsgerichtete Aufgabenvorhersage mit inkompatiblen Informationslese- und -schreibdynamiken umgewandelt wird. Wir schlagen OneRank vor, ein transformernatives Multitask-Ranking-Framework, das die Encoder-Prädiktor-Trennung aufhebt und aufgabenprivate Kanäle für das vorwärtige Repräsentationslernen und die Rückwärtsoptimierung einführt. Dies ermöglicht aufgabenspezialisiertes Lernen bei gleichzeitiger Reduzierung von Interferenzen zwischen Aufgaben. Im Vorwärtspass lernt OneRank aufgabenspezifische Repräsentationen Bottom-up durch aufgabenabhängige Informationsauswahl, kandidatenbewusste Kontextualisierung und kontrollierte aufgabenübergreifende Interaktion. Im Rückwärtspass isoliert die aufgabenübergreifende Gradiententrennung aufgabenprivate Parameteraktualisierungen von gemeinsamen Wissensextraktionsmodulen und verhindert so negativen Transfer. Darüber hinaus ersetzen wir statische aufgabenspezifische MLP-Scorer durch dynamisches matchbasiertes Scoring für kontextbewusstes personalisiertes Ranking. Durch die Verinnerlichung des Multitask-Schlussfolgerns innerhalb des Transformer-Stacks etabliert OneRank ein einheitliches und skalierbares Architekturparadigma. Offline- und Online-Experimente auf groß angelegten industriellen Datensätzen zeigen, dass OneRank die State-of-the-Art-Baselines signifikant übertrifft und dabei die Recheneffizienz beibehält.

English

Multi-task learning (MTL) is essential in recommender systems to enable complementary learning among diverse user feedback. While modern industrial practices have shifted from DNNs to Transformer-centric architectures to strengthen sequence modeling and scaling capacity, they still decouple feature encoding from multi-task prediction, treating the Transformer as a task-agnostic encoder. This design fundamentally limits the performance and scalability by (1) creating an information bottleneck under heterogeneous task objectives, (2) inducing gradient interference that leads to the seesaw phenomenon, and (3) forcing a dataflow transition in which attention-based, context-adaptive representation learning is converted to static feed-forward task prediction with incompatible information read-write dynamics. We propose OneRank, a Transformer-native multi-task ranking framework that eliminates encoder-predictor separation and introduces task-private channels for forward representation learning and backward optimization, enabling task-specialized learning while reducing inter-task interference. In the forward pass, OneRank learns task-specific representations bottom-up through task-conditioned information selection, candidate-aware contextualization, and controlled cross-task interaction. In the backward pass, cross-task gradient detachment isolates task-private parameter updates from shared knowledge extraction modules, preventing negative transfer. We further replace static task-specific MLP scorers with dynamic matching-based scoring for context-aware personalized ranking. By internalizing multi-task reasoning within the Transformer stack, OneRank establishes a unified and scalable architectural paradigm. Offline and online experiments on large-scale industrial datasets show that OneRank significantly outperforms state-of-the-art baselines while maintaining computational efficiency.