Orion-MSP：表データのインコンテキスト学習のためのマルチスケールスパースアテンション

Orion-MSP: Multi-Scale Sparse Attention for Tabular In-Context Learning

November 4, 2025

著者: Mohamed Bouadi, Pratinav Seth, Aditya Tanna, Vinay Kumar Sankarapu

cs.AI

要旨

表形式データは、実世界のアプリケーションにおいて依然として主要な形式である。しかし、異種混合の特徴タイプと複数のスケールで発生する複雑な相互作用により、表形式データに対する効果的なニューラルモデルの開発は依然として困難な課題である。TabPFNやTabICLなどの表形式インコンテキスト学習（ICL）の最近の進展により、タスク固有のファインチューニングなしで勾配ブースティング木（GBT）に匹敵する最先端の性能が達成されている。しかし、現在のアーキテクチャには重要な限界がある：（1）階層的な依存関係を見落とす単一スケールの特徴処理、（2）表の幅に対して二次関数的にスケールする密な注意機構、（3）反復的な表現洗練やコンポーネント間通信を妨げる厳密に順次的なコンポーネント処理である。これらの課題に対処するため、我々はOrion-MSPを導入する。これは以下の3つの主要な革新を特徴とする表形式ICLアーキテクチャである：（1）階層的な特徴相互作用を捕捉するマルチスケール処理、（2）スケーラブルな効率性と長距離接続性を実現するウィンドウ・グローバル・ランダムパターンを組み合わせたブロック疎注意機構、（3）コンポーネント間の安全な双方向情報フローを可能にするPerceiverスタイルのメモリである。多様なベンチマークにおいて、Orion-MSPは高次元の表に効果的にスケールしながら、最先端の性能に匹敵またはそれを上回り、効率的な表形式インコンテキスト学習の新たな標準を確立する。本モデルはhttps://github.com/Lexsi-Labs/Orion-MSP で公開されている。

English

Tabular data remain the predominant format for real-world applications. Yet, developing effective neural models for tabular data remains challenging due to heterogeneous feature types and complex interactions occurring at multiple scales. Recent advances in tabular in-context learning (ICL), such as TabPFN and TabICL, have achieved state-of-the-art performance comparable to gradient-boosted trees (GBTs) without task-specific fine-tuning. However, current architectures exhibit key limitations: (1) single-scale feature processing that overlooks hierarchical dependencies, (2) dense attention with quadratic scaling in table width, and (3) strictly sequential component processing that prevents iterative representation refinement and cross-component communication. To address these challenges, we introduce Orion-MSP, a tabular ICL architecture featuring three key innovations: (1) multi-scale processing to capture hierarchical feature interactions; (2) block-sparse attention combining windowed, global, and random patterns for scalable efficiency and long-range connectivity; and (3) a Perceiver-style memory enabling safe bidirectional information flow across components. Across diverse benchmarks, Orion-MSP matches or surpasses state-of-the-art performance while scaling effectively to high-dimensional tables, establishing a new standard for efficient tabular in-context learning. The model is publicly available at https://github.com/Lexsi-Labs/Orion-MSP .