기능적 어텐션: 쌍별 친화도에서 함수적 대응으로

초록

무한 차원 함수 공간 간의 매핑을 학습하는 것, 즉 연산자 학습은 많은 머신러닝 응용에서 필수적이다. 트랜스포머 기반 연산자가 널리 사용되지만, 이들은 종종 토큰별 어텐션에 의존한다. 이러한 방법들은 연속 장을 이산 토큰으로 취급하며 일반적으로 전역 함수 구조를 무시한다. 본 논문에서는 어텐션을 적응형 기저 간의 함수적 대응으로 재해석하는 함수적 어텐션(Functional Attention)을 제안한다. 기하학적 함수 맵에서 영감을 받은 이 방법은 소프트맥스 유사도를 구조화된 선형 연산자로 대체한다. 이를 통해 전역 의존성을 명시적으로 포착하는 간결하고 일반화 가능하며 해상도 불변인 표현을 얻을 수 있다. 실험 결과, 함수적 어텐션은 편미분방정식 해결, 3차원 분할, 회귀 등 다양한 연산자 학습 과제에서 최첨단 성능과 일치하면서도 다양한 이산화에 강건함을 보여준다. 프로젝트 페이지는 https://github.com/xjffff/FUNCATTN 에서 확인할 수 있다.

English

Learning mappings between infinite-dimensional function spaces, or operator learning, is essential for many machine learning applications. Although transformer-based operators are popular, they often rely on token-wise attention. These methods treat continuous fields as discrete tokens and usually ignore the global functional structure. We introduce Functional Attention, which reinterprets attention as a functional correspondence between adaptive bases. Inspired by geometric functional maps, our method replaces softmax affinities with structured linear operators. This yields a compact, generalizable, resolution-invariant representation that explicitly captures global dependencies. Experiments demonstrate that Functional Attention can match state-of-the-art performance in many operator learning tasks, including solving PDEs, 3D segmentation, and regression, while remaining robust to varying discretizations. Project page is available at https://github.com/xjffff/FUNCATTN.