FLARE: Snelle Low-rank Aandacht Routeringsmotor

FLARE: Fast Low-rank Attention Routing Engine

August 18, 2025

Auteurs: Vedant Puri, Aditya Joglekar, Kevin Ferguson, Yu-hsuan Chen, Yongjie Jessica Zhang, Levent Burak Kara

cs.AI

Samenvatting

De kwadratische complexiteit van self-attention beperkt de toepasbaarheid en schaalbaarheid ervan op grote ongestructureerde meshes. We introduceren Fast Low-rank Attention Routing Engine (FLARE), een self-attentionmechanisme met lineaire complexiteit dat aandacht routeert door vaste-lengte latente sequenties. Elk aandachtshoofd voert globale communicatie uit tussen N tokens door de invoerreeks te projecteren op een vaste-lengte latente reeks van M ll N tokens met behulp van leerbare query-tokens. Door aandacht te routeren via een bottleneck-reeks, leert FLARE een low-rank vorm van aandacht die kan worden toegepast tegen O(NM)-kosten. FLARE schaalt niet alleen naar ongekende probleemgroottes, maar levert ook superieure nauwkeurigheid op vergeleken met state-of-the-art neurale PDE-surrogaten in diverse benchmarks. We brengen ook een nieuwe dataset voor additieve productie uit om verder onderzoek te stimuleren. Onze code is beschikbaar op https://github.com/vpuri3/FLARE.py.

English

The quadratic complexity of self-attention limits its applicability and scalability on large unstructured meshes. We introduce Fast Low-rank Attention Routing Engine (FLARE), a linear complexity self-attention mechanism that routes attention through fixed-length latent sequences. Each attention head performs global communication among N tokens by projecting the input sequence onto a fixed length latent sequence of M ll N tokens using learnable query tokens. By routing attention through a bottleneck sequence, FLARE learns a low-rank form of attention that can be applied at O(NM) cost. FLARE not only scales to unprecedented problem sizes, but also delivers superior accuracy compared to state-of-the-art neural PDE surrogates across diverse benchmarks. We also release a new additive manufacturing dataset to spur further research. Our code is available at https://github.com/vpuri3/FLARE.py.