Lineare Aufmerksamkeitsarchitekturen: Mechanismen, Abwägungen und schichtübergreifendes Routing

Zusammenfassung

Self-Attention ermöglicht es jedem Token, Informationen aus dem gesamten Kontext abzurufen, aber die quadratischen Kosten in Bezug auf die Sequenzlänge schränken Training und Inferenz bei langen Kontexten ein. Diese Arbeit stellt eine vergleichende Studie von Softmax-Attention und vier neueren rekurrenten linearen Aufmerksamkeitsarchitekturen vor: DeltaNet, Gated DeltaNet, Kimi Delta Attention und Gated DeltaNet-2. Wir beschreiben diese Mechanismen in einer gemeinsamen rekurrenten Gedächtnisnotation und machen explizit, wie sie sich in Ausdrucksstärke, Gedächtniszerfall, Lösch- und Schreibsteuerung, Trainingsdurchsatz und Implementierungskomplexität unterscheiden. Unsere Experimente konzentrieren sich auf Modelle mit 350 Millionen Parametern, die auf 15 Milliarden Token trainiert wurden, und umfassen Optimierer- und Lernratenvergleiche, Hybrid- versus reine Stapelvergleiche, Laufzeitmessungen bei verschiedenen Sequenzlängen, größere DeltaNet-Läufe mit 1,3 Milliarden und 3 Milliarden Parametern sowie eine kleine Menge an Downstream-Evaluierungen. Die berichteten Geschwindigkeitsergebnisse messen den Trainingsdurchsatz und die Iterationszeit; wir liefern keinen empirischen Inferenzgeschwindigkeits-Benchmark. Im Rahmen der berichteten 350-Millionen-Parameter-, 15-Milliarden-Token-Untersuchung erreicht Kimi Delta Attention mit Muon den niedrigsten endgültigen Validierungsverlust, ein reiner Gated-DeltaNet-Stapel, der mit AdamW trainiert wurde, hat den höchsten normalisierten Trainingsdurchsatz, Hybrid-Stapel verbessern im Allgemeinen den Verlust unter Durchsatzkosten, und Muon senkt konsequent den endgültigen Validierungsverlust im Vergleich zu AdamW in den von uns evaluierten übereinstimmenden Architektureinstellungen. Wir führen leichtgewichtige schichtübergreifende Routingmechanismen für DeltaNet-artige Gedächtnissysteme ein und evaluieren sie. Die natürlichste von DeltaNet inspirierte Formulierung, bei der der Delta-Regel-Schreibfehler einer unteren Schicht an das Wertziel der nächsten Schicht weitergeleitet wird, verbessert die entsprechenden Baselines nicht. Das Routing in den ausgerichteten versteckten Datenstrom und das Weiterleiten des Schreibwerts anstelle des Fehlers führt zu einer bescheidenen Verbesserung in den von uns berichteten übereinstimmenden Läufen: Cross-Layer Value Routing (CLVR) senkt den endgültigen Validierungsverlust sowohl für DeltaNet als auch für Gated DeltaNet.

English

Self-attention lets each token retrieve information from the full context, but its quadratic cost in sequence length limits training and inference at long context. This paper presents a comparative study of softmax attention and four recent recurrent linear-attention architectures: DeltaNet, Gated DeltaNet, Kimi Delta Attention, and Gated DeltaNet-2. We express these mechanisms in a common recurrent-memory notation, making explicit how they differ in expressivity, memory decay, erase and write control, training throughput, and implementation complexity. Our experiments center on 350M-parameter models trained for 15B tokens, and include optimizer and learning-rate comparisons, hybrid-versus-pure stack comparisons, sequence-length runtime measurements, larger DeltaNet runs at 1.3B and 3B parameters, and a small set of downstream evaluations. The reported speed results measure training throughput and iteration time; we do not provide an empirical inference-speed benchmark. Within the reported 350M-parameter, 15B-token sweep, Kimi Delta Attention with Muon reaches the lowest final validation loss, a pure Gated DeltaNet stack trained with AdamW has the highest normalized training throughput, hybrid stacks generally improve loss at a throughput cost, and Muon consistently lowers final validation loss relative to AdamW in the matched architecture settings we evaluate. We introduce and evaluate lightweight cross-layer routing mechanisms for DeltaNet-style memories. The most natural DeltaNet-inspired formulation, forwarding a lower layer's delta-rule write error into the next layer's value target, does not improve over matched baselines. Routing into the aligned hidden stream and forwarding the write value instead yields a modest improvement in the matched runs we report: Cross-Layer Value Routing (CLVR) lowers final validation loss for both DeltaNet and Gated DeltaNet.