Foutloze Lineaire Aandacht is een Gratis Lunch: Exacte Oplossing uit Continue-Tijddynamica

Error-Free Linear Attention is a Free Lunch: Exact Solution from Continuous-Time Dynamics

December 14, 2025

Auteurs: Jingdi Lei, Di Zhang, Soujanya Poria

cs.AI

Samenvatting

Lineaire aandacht en State Space Models (SSM's) beloven de knelpunten van kwadratische kosten op te lossen in taalmodellen met lange context die softmax-aandacht gebruiken. Wij introduceren Error-Free Linear Attention (EFLA), een numeriek stabiele, volledig parallelle en gegeneraliseerde formulering van de delta-regel. Concreet formuleren we de online-lerende update als een dynamisch systeem in continue tijd en bewijzen we dat de exacte oplossing niet alleen bereikbaar is, maar ook berekenbaar in lineaire tijd met volledige parallellisatie. Door gebruik te maken van de rang-1-structuur van de dynamische matrix, leiden we direct de exacte gesloten-vorm oplossing af die effectief overeenkomt met de Runge-Kutta-methode van oneindige orde. Dit aandachtsmechanisme is theoretisch vrij van foutaccumulatie, vangt de continue dynamiek perfect af en behoudt tegelijk de lineaire tijdscomplexiteit. Via een uitgebreide reeks experimenten tonen we aan dat EFLA robuuste prestaties mogelijk maakt in rumoerige omgevingen, met een lagere perplexiteit voor taalmodellering en superieure prestaties op downstream benchmarks vergeleken met DeltaNet, zonder extra parameters te introduceren. Ons werk legt een nieuwe theoretische basis voor het bouwen van hoogwaardige, schaalbare aandachtsmodellen met lineaire tijdscomplexiteit.

English

Linear-time attention and State Space Models (SSMs) promise to solve the quadratic cost bottleneck in long-context language models employing softmax attention. We introduce Error-Free Linear Attention (EFLA), a numerically stable, fully parallelism and generalized formulation of the delta rule. Specifically, we formulate the online learning update as a continuous-time dynamical system and prove that its exact solution is not only attainable but also computable in linear time with full parallelism. By leveraging the rank-1 structure of the dynamics matrix, we directly derive the exact closed-form solution effectively corresponding to the infinite-order Runge-Kutta method. This attention mechanism is theoretically free from error accumulation, perfectly capturing the continuous dynamics while preserving the linear-time complexity. Through an extensive suite of experiments, we show that EFLA enables robust performance in noisy environments, achieving lower language modeling perplexity and superior downstream benchmark performance than DeltaNet without introducing additional parameters. Our work provides a new theoretical foundation for building high-fidelity, scalable linear-time attention models.