Orion-MSP: 테이블 형식 인-컨텍스트 학습을 위한 멀티스케일 희소 어텐션

Orion-MSP: Multi-Scale Sparse Attention for Tabular In-Context Learning

November 4, 2025

저자: Mohamed Bouadi, Pratinav Seth, Aditya Tanna, Vinay Kumar Sankarapu

cs.AI

초록

표 형식 데이터는 현실 세계 응용 분야에서 여전히 주요 형식으로 자리 잡고 있습니다. 그러나 이질적인 특성 유형과 다양한 수준에서 발생하는 복잡한 상호작용으로 인해 표 형식 데이터에 효과적인 신경망 모델을 개발하는 것은 여전히 어려운 과제입니다. TabPFN과 TabICL과 같은 표 형식 인-컨텍스트 러닝(ICL)의 최근 발전은 작업별 미세 조정 없도 그래디언트 부스팅 트리(GBT)에 필적하는 최첨단 성능을 달성했습니다. 하지만 현재 아키텍처는 다음과 같은 주요 한계를 보입니다: (1) 계층적 의존성을 간과하는 단일 규모 특성 처리, (2) 표 너비에 따른 2차 함수적 확장을 보이는 밀집 어텐션, (3) 반복적 표현 정제와 구성 요소 간 통신을 방해하는 엄격한 순차적 구성 요소 처리. 이러한 문제를 해결하기 위해 본 논문에서는 세 가지 핵심 혁신을 갖춘 표 형식 ICL 아키텍처인 Orion-MSP를 소개합니다: (1) 계층적 특성 상호작용을 포착하는 다중 규모 처리, (2) 확장 가능한 효율성과 장거리 연결성을 위한 윈도우, 전역, 무작위 패턴을 결합한 블록 희소 어텐션, (3) 구성 요소 간 안전한 양방향 정보 흐름을 가능하게 하는 Perceiver 스타일 메모리. 다양한 벤치마크에서 Orion-MSP는 고차원 표로 효과적으로 확장하면서 최첨단 성능을 견줄 수 있거나 능가하여, 효율적인 표 형식 인-컨텍스트 러닝의 새로운 기준을 제시합니다. 본 모델은 https://github.com/Lexsi-Labs/Orion-MSP 에서 공개되어 있습니다.

English

Tabular data remain the predominant format for real-world applications. Yet, developing effective neural models for tabular data remains challenging due to heterogeneous feature types and complex interactions occurring at multiple scales. Recent advances in tabular in-context learning (ICL), such as TabPFN and TabICL, have achieved state-of-the-art performance comparable to gradient-boosted trees (GBTs) without task-specific fine-tuning. However, current architectures exhibit key limitations: (1) single-scale feature processing that overlooks hierarchical dependencies, (2) dense attention with quadratic scaling in table width, and (3) strictly sequential component processing that prevents iterative representation refinement and cross-component communication. To address these challenges, we introduce Orion-MSP, a tabular ICL architecture featuring three key innovations: (1) multi-scale processing to capture hierarchical feature interactions; (2) block-sparse attention combining windowed, global, and random patterns for scalable efficiency and long-range connectivity; and (3) a Perceiver-style memory enabling safe bidirectional information flow across components. Across diverse benchmarks, Orion-MSP matches or surpasses state-of-the-art performance while scaling effectively to high-dimensional tables, establishing a new standard for efficient tabular in-context learning. The model is publicly available at https://github.com/Lexsi-Labs/Orion-MSP .