機能的注意：ペアごとの親和性から機能的対応へ

要旨

無限次元関数空間間の写像の学習、すなわちオペレーター学習は、多くの機械学習アプリケーションにとって不可欠である。トランスフォーマーベースのオペレーターは広く用いられているが、しばしばトークン単位の注意機構に依存している。これらの手法は連続的な場を離散トークンとして扱い、通常は大域的な関数構造を無視する。我々はFunctional Attentionを導入する。これは注意機構を適応的基底間の関数対応として再解釈するものである。幾何学的関数マップに着想を得て、本手法はソフトマックス親和性を構造化線形演算子に置き換える。これにより、大域的な依存関係を明示的に捉える、コンパクトで汎化可能、解像度不変な表現が得られる。実験により、Functional Attentionは、PDEの解法、3Dセグメンテーション、回帰などの多くのオペレーター学習タスクにおいて最先端の性能と同等の成果を達成し、さまざまな離散化に対しても頑健であることが示された。プロジェクトページはhttps://github.com/xjffff/FUNCATTNで公開されている。

English

Learning mappings between infinite-dimensional function spaces, or operator learning, is essential for many machine learning applications. Although transformer-based operators are popular, they often rely on token-wise attention. These methods treat continuous fields as discrete tokens and usually ignore the global functional structure. We introduce Functional Attention, which reinterprets attention as a functional correspondence between adaptive bases. Inspired by geometric functional maps, our method replaces softmax affinities with structured linear operators. This yields a compact, generalizable, resolution-invariant representation that explicitly captures global dependencies. Experiments demonstrate that Functional Attention can match state-of-the-art performance in many operator learning tasks, including solving PDEs, 3D segmentation, and regression, while remaining robust to varying discretizations. Project page is available at https://github.com/xjffff/FUNCATTN.